自建Kafka迁移至消息服务 for Kafka

本文主要介绍自建 Kafka 和消息服务 for Kafka 之间的数据迁移。

前提条件

• 自建 Kafka 数据库版本为 0.10 及以上。
• 自建 Kafka 已配置好访问控制参数（无访问控制、SASL/PLAIN、SASL/SCRAM-SHA-256、SASL/SCRAM-SHA-512）。
• 若您的 Kafka 部署在本地，您需要将 DTS 服务器的 IP 地址添加到 Kafka 远程连接的白名单中，以允许其访问您的实例。更多信息，请参见 添加 DTS 服务 IP 白名单。
• 已创建目标端消息服务 for Kafka 实例。创建方式，请参见 创建 Kafka 集群实例。

注意事项

• 仅支持目标端为 Kafka，暂不支持目标端为其他数据类型。
• 仅支持增量同步，支持配置同步开始时间（Topic 中最早 Message、启动任务后新产生的 Message、自定义起始时间）。
• 支持针对同一源端 Kafka 配置多个消费者消费数据。

操作步骤

1. 登录 DTS 控制台。

2. 点击 创建数据传输任务 进入 DTS 创建任务页面，详情参见 购买流程。

   注意：

   当源端数据类型为 Kafka 时，需设置并发消费者数量，每一个消费者对应一个子任务。并发消费者数量与最终费用相关。

3. 创建任务成功后自动返回任务列表页面，选择新创建的任务，点击 更多操作—>配置任务。

4. 在配置任务页面，配置源库及目标库信息，本文以 公网 接入方式为例介绍配置流程。

   类别	配置		说明
   任务基本属性	任务名称		DTS 会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。
   源端连接设置	版本		Kafka 0.9 版本不支持消费者组，因此固定选择 0.10 及以上。
   	Broker 列表		支持格式 IP:端口，IP 与端口以英文冒号分割，多个地址以英文逗号分隔，如： 182.168.1.1:9092,182.168.1.2:9093。
   	topic		填入 Topic。
   	访问控制		支持无访问控制或 SASL/PLAIN TEXT。
   	SASL/PLAIN TEXT	鉴权机制	若访问控制选择 SASL/PLAIN TEXT，需要选择 Kafka 实例配置的鉴权机制。 目前支持：SASL/PLAIN、SASL/SCRAM-SHA-256、SASL/SCRAM-SHA-512。
   		账号	若访问控制选择 SASL/PLAIN TEXT，需要填入 Kafka 实例配置的访问账号。
   		密码	若访问控制选择 SASL/PLAIN TEXT，需要填入 Kafka 实例配置的访问密码。
   目标端连接设置	集群名称/ID		当接入类型为百度消息服务-专享版时，选择 Kafka 集群。
   	topic		选择百度消息服务主题。

5. 配置完成后，点击页面下方的 授权白名单进入下一步。

6. 配置任务对象映射。

   配置	说明
   迁移类型	源端为 Kafka 时，迁移类型仅支持选择增量同步。
   分区同步策略	仅支持按原始Key分配。
   自定义同步位点	timestamp：选择起始时间点。 offset 迁移 Topic 中最早 Message：从 Kafka Topic 中最早的一条消息开始迁移。 迁移 Topic 中最晚 Message：忽略 Kafka Topic 中已存在的数据，仅迁移任务开始之后新产生的消息。
   限制传输速度	根据实际情况，选择是否对全量迁移和增量同步任务进行更细粒度的限流策略设置（设置 每秒迁移的行数 和 每秒迁移的数据量），以缓解目标库压力。详情参见：迁移限速。
   Buffer	本地内存缓冲消息个数，默认为1000
   传输对象	Kafka 实例仅支持传输对象为整个实例。

7. 上述配置完成后，点击页面下方的 保存并预检查。

   说明

   • 在迁移任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动迁移任务。
   • 如果预检查失败，请查看失败检查项的提示，并根据提示修复后重新进行预检查。

   • 如果预检查产生警告：

     • 对于不可以忽略的检查项，请查看失败检查项的提示，并根据提示修复后重新进行预检查。
     • 对于可以忽略无需修复的检查项，您可以点击 强制通过，在弹出的窗口中勾选风险确认信息并点击 确定，跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项，可能会导致数据不一致等问题，给业务带来风险。

8. 前置校验提示校验成功后，点击 立即开启任务。
9. 迁移任务正式开始，您可以在任务列表页面查看具体进度。