Apache Kafka 数据源配置指南

概述

Apache Kafka 是一个高吞吐量、可扩展的分布式事件流平台，非常适合构建实时数据管道和流分析应用程序。通过配置 Kafka 数据源，你可以实现与其他系统的高效数据流式传输。

参数配置

配置 Kafka 数据源时，需要提供以下信息以确保成功连接到 Kafka 集群：

• 数据源名称：为你的 Kafka 数据源指定一个易于识别的唯一名称，例如

  OrderStreamKafka

  OrderStreamKafka
  。

• Kafka 连接配置：填写 Kafka 集群的 Bootstrap Server 地址，格式为

  host1:port,host2:port,host3:port

  host1:port,host2:port,host3:port
  。例如

  order-kafka-broker-01:9092,order-kafka-broker-02:9092

  order-kafka-broker-01:9092,order-kafka-broker-02:9092
  。

• Kafka 安全认证协议：根据集群安全策略选择合适的认证协议。可选值包括无认证、SASL_PLAINTEXT、SASL_SSL 等。选择 SASL 类协议后会展开对应的 JAAS 配置、证书等认证参数。

• 数据源描述：（可选）为数据源添加描述性信息，以帮助你或其他管理员理解该数据源的用途或特点。

• 可用工作空间：设置该数据源授权给哪些工作空间使用。可以指定工作空间，也可以授权给全部工作空间。

连接配置

在连接配置方面，你需要注意以下事项：

• 直连：确保你输入的连接信息在公网可访问。如果源端开启了IP访问白名单，请确保数据集成服务的出口IP地址已被添加到白名单中，具体IP地址请联系技术支持人员。

注意事项

• 确保 Kafka 集群的安全性和稳定性，合理配置认证和授权机制。
• 在生产环境中，建议使用加密连接（如 SASL_SSL）来保护数据传输的安全。
• 监控 Kafka 集群的运行状态，以便及时发现并解决潜在问题。

完成配置后，你就可以在数据同步任务中选择此 Kafka 数据源，进行数据的导入或导出操作。

相关文档

• 数据源支持范围
• 数据源管理
• 数据集成