公网sql迁移到公网kafka

数据传输服务 DTS

  • 任务管理
    • 任务限速
    • 修改迁移任务的当前位点
    • 查看任务进度
    • 创建类似任务
    • 一键反向
    • 管理任务对象
      • 同步Online DDL
      • 迁移数据库账号
      • 修改同步对象
      • 传输对象范围
      • 设置过滤条件
      • 库表列名映射
    • 生命周期
      • 结束任务
      • 删除任务
      • 暂停任务
      • 变更任务链路规格
      • 启动任务
  • API3.0
    • 调用说明
    • API概览
    • 目录
    • 数据传输任务
      • 结束任务
      • 更新任务名称
      • 暂停任务
      • 查询前置检查结果
      • 释放任务
      • 修改同步对象
      • 修改同步对象记录
      • 创建任务
      • 前置检查
      • 强制跳过预检查
      • 查询任务列表
      • 变更链路规格
      • 配置任务
      • 查询任务信息
      • 启动任务
      • demo
        • 专线迁移Redis Cluster迁移到云数据库Redis企业集群版-一键反向
        • 专线迁移MongoDB副本集迁移到云数据库MongoDB副本集
        • 专线迁移Redis Cluster迁移到云数据库Redis标准版
        • 专线迁移Redis Cluster迁移到云数据库Redis标准版-数据校验
        • 专线迁移Redis Cluster迁移到云数据库Redis企业集群版-数据校验
        • 公网sql迁移到公网kafka
        • 专线迁移Redis标准版迁移到云数据库Redis标准版-一键反向
        • 专线迁移的MongoDB分片集迁移到云数据库MongoDB分片集-数据校验
        • 专线迁移MongoDB副本集迁移到云数据库MongoDB副本集-一键反向
        • 专线迁移MySQL迁移到云数据库RDS-一键反向
        • 专线迁移的Redis标准版迁移到云数据库Redis标准版-数据校验
        • 专线迁移MySQL迁移到云数据库RDS-数据校验
        • 专线迁移MongoDB分片集迁移到云数据库MongoDB分片集
        • 专线迁移MongoDB副本集迁移到云数据库MongoDB副本集-数据校验
        • 专线迁移MySQL迁移到云数据库RDS
        • 专线迁移Redis Cluster迁移到云数据库Redis企业集群版
        • 专线迁移Redis标准版迁移到云数据库Redis标准版
      • 其他
        • 一键反向查询前置检查结果
        • 展示授权白名单
        • 一键反向延迟检查
        • 获取订单状态
        • 配置一键反向
        • 查询vpc列表
        • 查询MySQL实例拥有的账号列表
        • 绑定&解除标签
        • 查询可用区列表
        • 检查数据库连通性
        • 一键反向
      • 数据校验
        • 查询数据校验任务列表
        • 数据校验任务启动
        • 创建数据校验任务
        • 配置数据校验任务
        • 停止校验
        • 查看数据校验比对结果
        • 数据校验前置检查
        • 查看数据校验任务信息
  • 监控报警
    • 查看任务监控
    • 设置报警策略
  • 产品计费
    • 计费概述
    • 到期或欠费说明
    • 计费方式
    • 变更和退订说明
  • 数据校验
    • 配置数据校验
    • 查看数据校验
    • 数据校验概述
  • Java_SDK
    • SDK下载页
    • 安装-DTS-Java-SDK
    • 使用数据订阅SDK
    • SDK接口简介
    • SDK下载
    • 概述
  • 快速入门
    • 购买流程
    • 数据迁移操作指导
    • 配置迁移任务
  • 典型实践
    • 使用NimoShake将Amazon DynamoDB迁移至百度云DocDB
    • 不同库名间的数据同步
    • 获取主账号ID
    • 使用DTS实现目标端为Elasticsearch的数据迁移
    • 使用DTS实现MySQL数据拆分
    • 数据库迁移上云
    • 业务切换流程
    • DTS支持专线迁移
    • DTS支持专线迁移(新)
    • 修改RDS MySQL参数提升迁移性能
    • MySQL实例的双向同步
  • 准备工作
    • 自建MySQL创建账号并设置binlog
    • 迁移评估
      • 源端MySQL迁移评估
    • 网络准备
      • 网络准备概述
      • VPC接入
      • 添加DTS服务IP白名单
      • 本地IDC接入百度智能云
        • VPN接入
        • 专线接入
        • 公网接入
    • 访问控制
      • 子用户权限管理
  • 产品简介
    • 支持的数据流
    • 功能概览
    • 基本概念
    • 产品优势
    • 架构原理
    • 应用场景
    • 什么是数据库传输服务DTS
    • 链路规格说明
  • 数据迁移
    • 跨账号迁移云数据库实例
    • 迁移方案概览
    • TiDB为源的迁移
      • 自建TiDB迁移至GaiaDB
    • Oracle为源的迁移
      • 自建Oracle迁移至RDS MySQL
    • GaiaDB为源的迁移
      • GaiaDB实例间的迁移
    • MySQL为源的迁移
      • 腾讯云MySQL迁移至RDS MySQL
      • RDS MySQL迁移至GaiaDB
      • 自建MySQL迁移至GaiaDB
      • 自建MySQL迁移至RDS MySQL
      • 阿里云PolarDB迁移至GaiaDB
      • RDS MySQL实例间的迁移
      • 阿里云MySQL迁移至RDS MySQL
      • MySQL迁移至Kafka
    • 异构数据库间的数据类型映射关系
      • 百度智能云DTS数据类型
      • DTS支持的数据源端
        • 将Kafka作为源端
        • 将Redis标准版作为源端
        • 将GaiaDB作为源端
        • 将Oracle作为源端
        • 将SQL Server作为源端
        • 将云上百度DRDS作为源端
        • 将MongoDB分片集作为源端
        • 将PostgreSQL作为源端
        • 将MongoDB副本集作为源端
        • 将MySQL作为源端
      • DTS支持的数据目的端
        • 将SQL Server作为目标端
        • 将Elasticsearch作为DTS目的端
        • 将GaiaDB作为目标端
        • 将Palo作为目标端
        • 将DataHub作为目标端
        • 将PostgreSQL作为目标端
        • 将MySQL作为目标端
        • 将Kafka作为DTS目标端
    • SQL Server 为源的迁移
      • 自建SQL Server迁移至RDS SQL Server
    • MongoDB为源的迁移
      • 自建MongoDB分片集迁移至DocDB MongoDB
      • DocDB MongoDB副本集迁移至DocDB MongoDB
    • Kafka为源的迁移
      • 自建Kafka迁移至消息服务 for Kafka
    • PostgreSQL为源的迁移
      • RDS PostgreSQL实例间的迁移
      • 自建PostgreSQL迁移至RDS PostgreSQL
      • AWS PostgreSQL迁移至RDS PostgreSQL
    • Redis为源的迁移
      • 使用DTS实现自建Redis标准版到百度智能云SCS for Redis标准版的数据迁移
      • 云数据库Redis实例间的迁移
      • 自建Redis迁移至云数据库Redis(含PegaDB)
    • Milvus为源的迁移
      • 自建 Milvus 迁移至向量数据库 VectorDB
  • 产品动态
    • 功能发布记录
    • 公告
      • 数据传输服务DTS支持多规格数据传输任务
      • 数据传输服务DTS任务状态升级通知
  • 预检查项
    • TiDB检查项
    • PostgreSQL检查项
    • MySQL检查项
    • Palo检查项
    • Oracle检查项
    • GaiaDB-X检查项
    • RocketMQ检查项
    • MongoDB检查项
    • Redis检查项
    • Elasticsearch检查项
    • GaiaDB检查项
    • Kafka检查项
    • 预检查不通过处理方法
      • 源库、目标库的连接数是否满足要求检查
      • 迁移表依赖的外键父表是否迁移检查
      • 目的数据库是否只读检查
      • 目的数据库的账号权限是否满足迁移要求检查
      • 目的库中表是否为空检查
      • 源库和目标库中SQL_MODE是否合法检查
      • 数据传输服务器是否能连通目的数据库检查
      • 源数据库的版本号检查
      • 源数据库的账号权限是否满足迁移要求检查
      • 迁移表是否有不支持的存储引擎检查
      • 预检查项汇总
      • 迁移表的表结构在目的库是否存在检查
      • 目的数据库待迁入的数据库是否可用检查
      • 目的库是否存在跟待迁移对象同名的结构对象检查
      • 数据传输服务器是否能连通源数据库检查
  • 服务支持
    • 相关协议
      • DTS服务等级协议SLA
    • 常见问题
      • 使用类问题
      • 数据迁移问题
      • 常见问题总览
      • 数据同步问题
所有文档
menu
没有找到结果,请重新输入

数据传输服务 DTS

  • 任务管理
    • 任务限速
    • 修改迁移任务的当前位点
    • 查看任务进度
    • 创建类似任务
    • 一键反向
    • 管理任务对象
      • 同步Online DDL
      • 迁移数据库账号
      • 修改同步对象
      • 传输对象范围
      • 设置过滤条件
      • 库表列名映射
    • 生命周期
      • 结束任务
      • 删除任务
      • 暂停任务
      • 变更任务链路规格
      • 启动任务
  • API3.0
    • 调用说明
    • API概览
    • 目录
    • 数据传输任务
      • 结束任务
      • 更新任务名称
      • 暂停任务
      • 查询前置检查结果
      • 释放任务
      • 修改同步对象
      • 修改同步对象记录
      • 创建任务
      • 前置检查
      • 强制跳过预检查
      • 查询任务列表
      • 变更链路规格
      • 配置任务
      • 查询任务信息
      • 启动任务
      • demo
        • 专线迁移Redis Cluster迁移到云数据库Redis企业集群版-一键反向
        • 专线迁移MongoDB副本集迁移到云数据库MongoDB副本集
        • 专线迁移Redis Cluster迁移到云数据库Redis标准版
        • 专线迁移Redis Cluster迁移到云数据库Redis标准版-数据校验
        • 专线迁移Redis Cluster迁移到云数据库Redis企业集群版-数据校验
        • 公网sql迁移到公网kafka
        • 专线迁移Redis标准版迁移到云数据库Redis标准版-一键反向
        • 专线迁移的MongoDB分片集迁移到云数据库MongoDB分片集-数据校验
        • 专线迁移MongoDB副本集迁移到云数据库MongoDB副本集-一键反向
        • 专线迁移MySQL迁移到云数据库RDS-一键反向
        • 专线迁移的Redis标准版迁移到云数据库Redis标准版-数据校验
        • 专线迁移MySQL迁移到云数据库RDS-数据校验
        • 专线迁移MongoDB分片集迁移到云数据库MongoDB分片集
        • 专线迁移MongoDB副本集迁移到云数据库MongoDB副本集-数据校验
        • 专线迁移MySQL迁移到云数据库RDS
        • 专线迁移Redis Cluster迁移到云数据库Redis企业集群版
        • 专线迁移Redis标准版迁移到云数据库Redis标准版
      • 其他
        • 一键反向查询前置检查结果
        • 展示授权白名单
        • 一键反向延迟检查
        • 获取订单状态
        • 配置一键反向
        • 查询vpc列表
        • 查询MySQL实例拥有的账号列表
        • 绑定&解除标签
        • 查询可用区列表
        • 检查数据库连通性
        • 一键反向
      • 数据校验
        • 查询数据校验任务列表
        • 数据校验任务启动
        • 创建数据校验任务
        • 配置数据校验任务
        • 停止校验
        • 查看数据校验比对结果
        • 数据校验前置检查
        • 查看数据校验任务信息
  • 监控报警
    • 查看任务监控
    • 设置报警策略
  • 产品计费
    • 计费概述
    • 到期或欠费说明
    • 计费方式
    • 变更和退订说明
  • 数据校验
    • 配置数据校验
    • 查看数据校验
    • 数据校验概述
  • Java_SDK
    • SDK下载页
    • 安装-DTS-Java-SDK
    • 使用数据订阅SDK
    • SDK接口简介
    • SDK下载
    • 概述
  • 快速入门
    • 购买流程
    • 数据迁移操作指导
    • 配置迁移任务
  • 典型实践
    • 使用NimoShake将Amazon DynamoDB迁移至百度云DocDB
    • 不同库名间的数据同步
    • 获取主账号ID
    • 使用DTS实现目标端为Elasticsearch的数据迁移
    • 使用DTS实现MySQL数据拆分
    • 数据库迁移上云
    • 业务切换流程
    • DTS支持专线迁移
    • DTS支持专线迁移(新)
    • 修改RDS MySQL参数提升迁移性能
    • MySQL实例的双向同步
  • 准备工作
    • 自建MySQL创建账号并设置binlog
    • 迁移评估
      • 源端MySQL迁移评估
    • 网络准备
      • 网络准备概述
      • VPC接入
      • 添加DTS服务IP白名单
      • 本地IDC接入百度智能云
        • VPN接入
        • 专线接入
        • 公网接入
    • 访问控制
      • 子用户权限管理
  • 产品简介
    • 支持的数据流
    • 功能概览
    • 基本概念
    • 产品优势
    • 架构原理
    • 应用场景
    • 什么是数据库传输服务DTS
    • 链路规格说明
  • 数据迁移
    • 跨账号迁移云数据库实例
    • 迁移方案概览
    • TiDB为源的迁移
      • 自建TiDB迁移至GaiaDB
    • Oracle为源的迁移
      • 自建Oracle迁移至RDS MySQL
    • GaiaDB为源的迁移
      • GaiaDB实例间的迁移
    • MySQL为源的迁移
      • 腾讯云MySQL迁移至RDS MySQL
      • RDS MySQL迁移至GaiaDB
      • 自建MySQL迁移至GaiaDB
      • 自建MySQL迁移至RDS MySQL
      • 阿里云PolarDB迁移至GaiaDB
      • RDS MySQL实例间的迁移
      • 阿里云MySQL迁移至RDS MySQL
      • MySQL迁移至Kafka
    • 异构数据库间的数据类型映射关系
      • 百度智能云DTS数据类型
      • DTS支持的数据源端
        • 将Kafka作为源端
        • 将Redis标准版作为源端
        • 将GaiaDB作为源端
        • 将Oracle作为源端
        • 将SQL Server作为源端
        • 将云上百度DRDS作为源端
        • 将MongoDB分片集作为源端
        • 将PostgreSQL作为源端
        • 将MongoDB副本集作为源端
        • 将MySQL作为源端
      • DTS支持的数据目的端
        • 将SQL Server作为目标端
        • 将Elasticsearch作为DTS目的端
        • 将GaiaDB作为目标端
        • 将Palo作为目标端
        • 将DataHub作为目标端
        • 将PostgreSQL作为目标端
        • 将MySQL作为目标端
        • 将Kafka作为DTS目标端
    • SQL Server 为源的迁移
      • 自建SQL Server迁移至RDS SQL Server
    • MongoDB为源的迁移
      • 自建MongoDB分片集迁移至DocDB MongoDB
      • DocDB MongoDB副本集迁移至DocDB MongoDB
    • Kafka为源的迁移
      • 自建Kafka迁移至消息服务 for Kafka
    • PostgreSQL为源的迁移
      • RDS PostgreSQL实例间的迁移
      • 自建PostgreSQL迁移至RDS PostgreSQL
      • AWS PostgreSQL迁移至RDS PostgreSQL
    • Redis为源的迁移
      • 使用DTS实现自建Redis标准版到百度智能云SCS for Redis标准版的数据迁移
      • 云数据库Redis实例间的迁移
      • 自建Redis迁移至云数据库Redis(含PegaDB)
    • Milvus为源的迁移
      • 自建 Milvus 迁移至向量数据库 VectorDB
  • 产品动态
    • 功能发布记录
    • 公告
      • 数据传输服务DTS支持多规格数据传输任务
      • 数据传输服务DTS任务状态升级通知
  • 预检查项
    • TiDB检查项
    • PostgreSQL检查项
    • MySQL检查项
    • Palo检查项
    • Oracle检查项
    • GaiaDB-X检查项
    • RocketMQ检查项
    • MongoDB检查项
    • Redis检查项
    • Elasticsearch检查项
    • GaiaDB检查项
    • Kafka检查项
    • 预检查不通过处理方法
      • 源库、目标库的连接数是否满足要求检查
      • 迁移表依赖的外键父表是否迁移检查
      • 目的数据库是否只读检查
      • 目的数据库的账号权限是否满足迁移要求检查
      • 目的库中表是否为空检查
      • 源库和目标库中SQL_MODE是否合法检查
      • 数据传输服务器是否能连通目的数据库检查
      • 源数据库的版本号检查
      • 源数据库的账号权限是否满足迁移要求检查
      • 迁移表是否有不支持的存储引擎检查
      • 预检查项汇总
      • 迁移表的表结构在目的库是否存在检查
      • 目的数据库待迁入的数据库是否可用检查
      • 目的库是否存在跟待迁移对象同名的结构对象检查
      • 数据传输服务器是否能连通源数据库检查
  • 服务支持
    • 相关协议
      • DTS服务等级协议SLA
    • 常见问题
      • 使用类问题
      • 数据迁移问题
      • 常见问题总览
      • 数据同步问题
  • 文档中心
  • arrow
  • 数据传输服务DTS
  • arrow
  • API3.0
  • arrow
  • 数据传输任务
  • arrow
  • demo
  • arrow
  • 公网sql迁移到公网kafka
本页目录
  • 接口说明
  • 请求结构
  • 请求体参数
  • OrderInfo字段数据结构说明
  • Src字段数据结构说明
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • DtsTask字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • Connection字段数据结构说明
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • PreCheckResultItem字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例
  • 接口说明
  • 请求结构
  • 请求体参数
  • 响应头参数
  • 响应体参数
  • 响应体字段数据结构说明
  • 请求示例
  • 响应示例

公网sql迁移到公网kafka

更新时间:2025-08-21

创建任务

接口说明

创建任务。

请求结构

JSON
1POST /v1/task
2Host: dts.baidubce.com    
3Authorization: authorization string  
4{
5    "crossRegionTag": 0,
6    "directionType": "single",
7    "standard": "large",
8    "productType": "postpay",
9    "sourceInstanceType": "public",
10    "targetInstanceType": "public",
11    "type": "migration",
12    "orderInfo": {
13        "src": {
14            "instanceType": "public",
15            "dbType": "mysql",
16            "region": "bj"
17        },
18        "dst": {
19            "instanceType": "public",
20            "dbType": "kafka",
21            "region": "bj"
22        }
23    }
24}

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
type String 是 任务类型(数据传输任务:migration),目前仅支持数据传输任务 migration Request Body 参数
productType String 是 付费类型(后付费:postpay),目前仅支持后付费 postpay Request Body 参数
standard String 是 实例规格(small;medium;large;xlarge) large Request Body 参数
sourceInstanceType String 是 源端类型(百度智能云数据库:bcerds;自建数据存储:public) bcerds Request Body 参数
targetInstanceType String 是 目标端类型(百度智能云数据库:bcerds;自建数据存储:public) bcerds Request Body 参数
crossRegionTag Integer 是 跨地域标识(当源端、目标端类型均为百度智能云数据库且跨地域时:1;其他情况:0) 0 Request Body 参数
directionType String 是 同步方向(单向同步:single;双向同步:bidirect),目前仅支持单向同步 single Request Body 参数
orderInfo OrderInfo 是 购买类型 orderInfo Request Body 参数
rollback String 否 一键反向,1为创建一键反向任务,其余时候不传该参数 1 Request Body 参数

OrderInfo字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
src Src 是 源端 src
dst Src 是 目标端 src

Src字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
instanceType String 是 源端接入类型(云数据库RDS:bcerds;云数据库 DocDB for MongoDB:bcedocdb;云数据库 SCS for Redis:bcescs;云数据库专属集群DDC:bceddc;云原生数据库 GaiaDB-S:bcegaiadb;公网:public;专线接入:bceet;云服务器BCC:bcebcc;物理服务器BBC:bcebbc;专属服务器DCC:bcedcc;专线迁移:bcegateway(src或dst只支持一端类型为bcegateway)) public
dbType String 是 源端数据类型(mysql;pg;SQL Server:mssql;oracle;MongoDB副本集:mongodb;MongoDB分片集:mongodbCluster;社区集群版:openRedisCluster;企业集群版:redisCluster;标准版:redis;kafka;elasticsearch;palo) mysql
sliceNum String 否 分片数量 1
region String 否 地域 bj
zone String 否 接入类型为bcegateway时,需要指定可用区 cn-bj-a
vpcShortId String 否 接入类型为bcegateway时,需要指定VPC短ID vpc-46k27rb9wppz
subnetShortId String 否 接入类型为bcegateway时,需要指定子网短ID sbn-qtm3d4eituqc

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
dtsTasks List<DtsTask> 是 任务ID列表 dtsmxxyy1234

DtsTask字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
dtsId String 是 任务ID dtsmxxyy1234

请求示例

JSON
1POST /v1/task
2Host: dts.baidubce.com    
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943   
5
6
7{
8    "crossRegionTag": 0,
9    "directionType": "single",
10    "standard": "large",
11    "productType": "postpay",
12    "sourceInstanceType": "public",
13    "targetInstanceType": "public",
14    "type": "migration",
15    "orderInfo": {
16        "src": {
17            "instanceType": "public",
18            "dbType": "mysql",//mysql,oracle,mssql
19            "region": "bj"
20        },
21        "dst": {
22            "instanceType": "public",
23            "dbType": "kafka",
24            "region": "bj"
25        }
26    }
27}

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4    "dtsTasks": [
5        {
6            "dtsId": "dtsmfxqr21ng8jo2ciqg"
7        }
8    ]
9}

配置任务

接口说明

配置任务。

请求结构

JSON
1POST /v1/task/{dtsId}/config
2Host: dts.baidubce.com    
3Authorization: authorization string  
4{
5    "type": "migration",
6    "taskName": "dtsmx7ke51aho3jg1ied",
7    "dataType": [
8        "base",
9        "increment"
10    ],
11    "srcConnection": {
12        "instanceType": "public",
13        "dbType": "mysql",
14        "region": "bj",
15        "dbPort": 3308,
16        "dbUser": "admin",
17        "dbPass": "admin",
18        "dbHost": "10.156.64.44",
19        "field_blacklist": "",
20        "field_whitelist": ""
21    },
22    "dstConnection": {
23        "instanceType": "public",
24        "dbType": "kafka",
25        "region": "bj",
26        "version": "0.9.0.1",
27        "brokers": "10.152.80.28:9092",
28        "topic": "10.152.80.29:9092",
29        "buffer": "10.152.80.30:9092",
30        "control": "",
31        "sqlType": "I,U,D"
32    },
33    "schemaMapping": [
34        {
35            "src": "lws.t",
36            "dst": "test1.t",
37            "type": "table",
38            "where": ""
39        }
40    ],
41    "granularity": "dbtb"
42}

请求体参数

参数名称 参数类型 是否必选 描述 示例值 参数位置
dtsId String 是 任务ID dtsmxxxyyy URL参数
type String 是 任务类型(数据传输任务:migration),目前仅支持数据传输任务 migration Request Body 参数
dataType String[] 是 传输数据类型数组(schema:结构迁移;base:全量迁移;increment:增量迁移) ["base"] Request Body 参数
srcConnection Connection 是 源端 srcConnection Request Body 参数
dstConnection Connection 是 目标端 dstConnection Request Body 参数
granularity String 是 传输任务的粒度(instance:实例级;dbtb:库表级) instance Request Body 参数
schemaMapping SchemaMapping 是 schemaMapping schemaMapping Request Body 参数
accountMapping AccountMapping[] 否 账号迁移 accountMapping Request Body 参数
incrIgnoreType String 否 特殊DDL过滤 drop,truncate Request Body 参数
initPosition InitPosition 否 自定义同步点 initPosition Request Body 参数

Connection字段数据结构说明

参数名称 参数类型 是否必选 描述 示例值
instanceType String 否 实例类型 bcerds
region String 否 地域 bj
dbType String 否 数据库类型 mysql
dbUser String 否 数据库访问账号 dts_trans
dbPass String 否 数据库访问密码
dbPort Integer 否 数据库访问端口 3306
dbHost String 否 数据库IP或主机名 192.168.1.1
dbName String 否 数据库名称 mssql_datatype
instanceId String 否 实例ID rdsmfgdti3d53f5
dbServer String 否 数据库IP或主机名。支持IP:端口,IP或域名与端口以英文冒号分隔,多个地址以英文逗号分隔 192.168.1.1:3306
shardUrl String 否 分片IP或主机名。支持IP:端口,IP或域名与端口以英文冒号分隔,多个地址以英文逗号分隔 192.168.1.1:3306,192.168.1.1:3306
announceServer String 否 redis cluster announce IP/Port。若redis cluster低于4.0或未设置announce IP/Port该字段填空即可。长度限制10240 192.168.1.1:3306,192.168.1.1:3306(与dbServer一一对应)
field_whitelist String 否 列过滤(白名单) field_whitelist
field_blacklist String 否 列过滤(黑名单) field_blacklist
srcDstFlag String 否 公有云上redis实例:必选。标识公有云上实例源端和目标端。源端取值"src",目标端取值"dst"。非公有云,非redis实例:可为空。 src
supportOnlineDDL String 否 同步Online DDL true,false
maxRetryTime String 否 重试时间 720
sqlType String 否 同步语句选择 I,U,D,Q
positionStrategy String 否 可选值:
fail(如果给定offset不存在,这任务报错退出)
base(如果给定offset不存在,则任务从全量开始重新同步)
fail
zone String 否 接入类型为bcegateway时,需要指定可用区 cn-bd-a
vpcShortId String 否 接入类型为bcegateway时,需要指定VPC短ID vpc-46k27rb9wppz
subnetShortId String 否 接入类型为bcegateway时,需要指定子网短ID sbn-qtm3d4eituqc
version String 否 接入类型为kafka时,需要指定kafka版本 0.9.0.1
brokers String 否 接入类型为kafka时,需要指定Broker列表 10.152.80.28:9092
topic String 否 接入类型为kafka时,需要指定topic 10.152.80.29:9092
control String 否 接入类型为kafka时,需要指定访问控制类型 ""
sid String 否 接入类型为oracle时,需要指定Service Name DCLHR
charset String 否 接入类型为oracle时,需要指定导出类型 "";ZHS16GBK;UTF8
incrType String 否 物化视图日志:mlog;归档日志:logminer mlog

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必选 描述 示例值
dtsId String 是 任务ID dtsxxxyyyzzz

请求示例

JSON
1POST /v1/task/{dtsId}/config
2Host: dts.baidubce.com    
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 
5
6mysql示例:
7{
8    "type": "migration",
9    "taskName": "dtsmx7ke51aho3jg1ied",
10    "dataType": [//传输数据类型数组(base:全量迁移;increment:增量迁移)
11        "base",
12        "increment"
13    ],
14    "srcConnection": {
15        "instanceType": "public",
16        "dbType": "mysql",
17        "region": "bj",
18        "dbPort": 3308,
19        "dbUser": "admin",
20        "dbPass": "admin",
21        "dbHost": "10.156.64.44",
22        "field_blacklist": "",
23        "field_whitelist": ""
24    },
25    "dstConnection": {
26        "instanceType": "public",
27        "dbType": "kafka",
28        "region": "bj",
29        "version": "0.9.0.1",//版本
30        "brokers": "10.152.80.28:9092",//Broker列表
31        "topic": "10.152.80.29:9092",//Topic
32        "buffer": "10.152.80.30:9092",//Buffer
33        "control": "",//访问控制
34        "sqlType": "I,U,D"//同步语句。选择取值有I,U,D(I:insert;U:update:D:delete)
35    },
36    "schemaMapping": [
37        {
38            "src": "lws.t",//(lws库的t表)源库的schema名称
39            "dst": "test1.t",//(test1库的t表)目标库的schema名称
40            "type": "table",//需要传输的对象类型, 取值有: db(库), table(表), view(视图), function(函数), procedure(存储过程)
41            "where": ""//行过滤条件
42        }
43    ],
44    "granularity": "dbtb"//传输任务的粒度(instance:实例级;dbtb:库表级)
45}
46oracle示例:
47{
48    "type": "migration",
49    "taskName": "dtsme7rwtxu8kg2tauss",
50    "dataType": [
51        "base",
52        "increment"
53    ],
54    "srcConnection": {
55        "instanceType": "public",
56        "dbType": "oracle",
57        "region": "bj",
58        "dbPort": "1521",
59        "dbUser": "dtstest",
60        "dbPass": "dtstest",
61        "dbHost": "10.195.53.48",
62        "sid": "DCLHR",//Service Name
63        "charset": "",//导出类型:"";ZHS16GBK;UTF8
64        "field_whitelist": "",
65        "field_blacklist": "",
66        "incrType": "mlog"//物化视图日志 mlog;归档日志 logminer
67    },
68    "dstConnection": {
69        "instanceType": "public",
70        "dbType": "kafka",
71        "region": "bj",
72        "version": "0.9.0.1",
73        "brokers": "10.152.80.28:9092",
74        "topic": "10.152.80.29:9092",
75        "buffer": "10.152.80.30:9092",
76        "control": "",
77        "sqlType": "I,U,D"
78    },
79    "schemaMapping": [
80        {
81            "src": "DTSTEST.DHBTEST",
82            "dst": "DTSTEST.DHBTEST",
83            "type": "table",
84            "where": ""
85        }
86    ],
87    "granularity": "dbtb"
88}
89SQL Server示例:
90{
91    "type": "migration",
92    "taskName": "dtsmizv1jgq39k45dr00",
93    "dataType": [
94        "base",
95        "increment"
96    ],
97    "srcConnection": {
98        "instanceType": "public",
99        "dbType": "mssql",
100        "region": "bj",
101        "dbUser": "SA",
102        "dbPass": "Baidu@123",
103        "dbHost": "10.156.64.44",
104        "dbPort": "1433",
105        "dbName": "mssql_datatype",
106        "field_whitelist": "",
107        "field_blacklist": ""
108    },
109    "dstConnection": {
110        "instanceType": "public",
111        "dbType": "kafka",
112        "region": "bj",
113        "version": "0.9.0.1",
114        "brokers": "10.152.80.28:9092",
115        "topic": "10.152.80.29:9092",
116        "buffer": "10.152.80.30:9092",
117        "control": " ",
118        "sqlType": "I,U,D"
119    },
120    "schemaMapping": [
121        {
122            "type": "table",
123            "src": "mssql_datatype.datatype.tbl_time",
124            "dst": "mssql_datatype.datatype.tbl_time"
125        }
126    ],
127    "granularity": "dbtb"
128}

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "dtsId" : "dtsxxxyyyzzz"
5}

前置检查

接口说明

当配置完任务,开始前置检查。

请求结构

JSON
1POST /v1/task/{dtsId}/precheck
2Host: dts.baidubce.com    
3Authorization: authorization string  

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsxxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
success Boolean 是 是否成功 true
result Object 否 暂未使用 null

请求示例

JSON
1POST /v1/task/{dtsId}/precheck
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "result" : { },
5  "success" : true
6}

查询前置检查结果

接口说明

任务启动前的前置检查,包括连通性,对象存在性,binlog格式等。

请求结构

JSON
1GET /v1/task/{dtsId}/precheck
2Host: dts.baidubce.com    
3Authorization: authorization string  

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsxxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
success Boolean 是 是否成功 true
result PreCheckResultItem[] 是 前置检查结果集合

PreCheckResultItem字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
name String 是 名称 srcOracleConnect
subscription String 是 描述 检查数据传输服务器是否能连通源数据库
message String 是 提示语
status String 是 状态 pass

请求示例

JSON
1GET /v1/task/{dtsId}/precheck
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "result" : [ {
5    "name" : "srcOracleConnect",
6    "subscription" : "检查数据传输服务器是否能连通源数据库",
7    "message" : "message",
8    "status" : "pass"
9  }, {
10    "name" : "srcOracleConnect",
11    "subscription" : "检查数据传输服务器是否能连通源数据库",
12    "message" : "message",
13    "status" : "pass"
14  } ],
15  "success" : true
16}

强制跳过前置检查

接口说明

强制跳过前置检查。

请求结构

JSON
1PUT /v1/task/{dtsId}?skipPrecheck
2Host: dts.baidubce.com    
3Authorization: authorization string  

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsxxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
success Boolean 是 是否成功 true
result Object 否 暂未使用 null

请求示例

JSON
1PUT /v1/task/{dtsId}?skipPrecheck
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "result" : { },
5  "success" : true
6}

启动任务

接口说明

当配置完任务,前置检查通过后,可以启动任务。

请求结构

JSON
1POST /v1/task/{dtsId}/start
2Host: dts.baidubce.com    
3Authorization: authorization string  

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsxxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
success Boolean 是 是否成功 true
result Object 否 暂未使用 null

请求示例

JSON
1POST /v1/task/{dtsId}/start
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "result" : { },
5  "success" : true
6}

暂停任务

接口说明

运行中的任务可以暂停。

请求结构

JSON
1POST /v1/task/{dtsId}/pause
2Host: dts.baidubce.com    
3Authorization: authorization string  

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsxxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
success Boolean 是 是否成功 true
result Object 否 暂未使用 null

请求示例

JSON
1POST /v1/task/{dtsId}/pause
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "result" : { },
5  "success" : true
6}

结束任务

接口说明

结束任务。

请求结构

JSON
1POST /v1/task/{dtsId}/shutdown
2Host: dts.baidubce.com    
3Authorization: authorization string  

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsxxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
success Boolean 是 是否成功 true
result Object 否 暂未使用 null

请求示例

JSON
1POST /v1/task/{dtsId}/shutdown
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "result" : { },
5  "success" : true
6}

释放任务

接口说明

释放并删除任务。

请求结构

JSON
1DELETE /v1/task/{dtsId}
2Host: dts.baidubce.com    
3Authorization: authorization string  

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsxxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
success Boolean 是 是否成功 true
result Object 否 暂未使用 null

请求示例

JSON
1DELETE /v1/task/{dtsId}
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2
3{
4  "result" : { },
5  "success" : true
6}

查询任务信息

接口说明

查看指定ID的数据传输任务信息。

请求结构

JSON
1GET /v1/task/{dtsId}
2Host: dts.baidubce.com    
3Authorization: authorization string

请求体参数

参数名称 参数类型 是否必须 描述 示例值 参数位置
dtsId String 是 任务ID dtsmxxxyyy URL参数

响应头参数

除公共头域,无其它特殊头域。

响应体参数

响应体字段数据结构说明

参数名称 参数类型 是否必须 描述 示例值
dtsId String 是 任务ID dtsmxxyy1234
taskName String 是 任务名称 dtsmxxyy1234
status String 是 任务状态:
unConfig:未配置,当用户创建完任务后,就进入未配置状态, 该状态只有dtsId信息;
ready:未启动,当配置完后任务后就进入未启动状态,这时就包含任务的所有信息;
checking:前置检查中,当用户点击启动后,先会进行前置检查;
checkPass:前置检查通过,只有前置检查通过后,才可以进行启动任务;
checkFailed:前置检查失败,任务启动时,会进行前置检查,若检查失败,就进入该状态,这时可以进行修改任务或直接结束任务;
running:运行中,前置检测通过后,就进入该状态,包括数据迁移中或数据同步中;
stopping:暂停中,处于该状态的任务不能进行任何操作;
stopped:已暂停,从该状态启动,会进行断点续传,比如:暂停后修改数据同步对象;
stopCheckFailed:已暂停(新增同步对象前置检查失败),当新增同步对象时,会进行前置检查,如果检查失败,回到已暂停状态,但是可以查看检查失败原因;
runFailed:运行失败,当运行过程中出现异常就进入该状态,如果是可恢复错误,修复后可继续启动,如果是不可恢复错误,只能结束任务;
finished:任务结束,包括手工进行结束,或任务完成后自动结束,或出现不可恢复的错误
finished
dataType DataType 是
region String 是 地域 bj
createTime String 是 创建时间 2020-12-10T13: 24: 10Z
srcConnection Connection 是 源端 srcConnection
dstConnection Connection 是 目标端 dstConnection
schemaMapping SchemaMapping 是 schemaMapping schemaMapping
runningTime Integer 是 任务已运行时长 20
subStatus List<SubStatus> 是 子任务状态
dynamicInfo DynamicInfo 是 dynamicInfo dynamicInfo
errmsg String 是 执行失败时返回的错误信息,执行成功时为空字符串
sdkRealtimeProgress String 是 (只限数据订阅)任务实时进度,UTC格式 sdkRealtimeProgress
granularity String 是 传输任务的粒度,目前只区分实例级和库表级两种 dbtb
subDataScope SubDataScope 是 (只限数据订阅)订阅通道数据范围 subDataScope
payInfo PayInfo 是 付费信息 payInfo
lockStatus String 是 任务是否被锁定,取值有:unlock,lockExpiration unlock
initPosition InitPosition 是 自定义同步点 initPosition
accountMapping AccountMapping[] 是 账号迁移 accountMapping
incrIgnoreType String 是 特殊DDL过滤 drop,truncate
statistic Statistic 是 DTS任务性能统计数据。包含:readSpeed(读取速率,行/s)、writeSpeed(写入速率,行/s) writeSpeed
checksumResult ChecksumResult 是 校验结果,可能值:CONSISTENT(一致),INCONSISTENT(不一致),NONE(未知,校验任务运行未结束) CONSISTENT
dtsIdPos String 是 双向同步任务时,正向任务ID dtsmxxyy1234
dtsIdNeg String 是 双向同步任务时,反向任务ID dtsmxxyy1234
dtsTaskPos DtsTaskPos 是 双向同步任务时,正向任务信息 dtsTaskPos
dtsTaskNeg DtsTaskNeg 是 双向同步任务时,反向任务信息 dtsTaskNeg
dtsTasks DtsTasks[] 是 任务组任务时,子任务信息 dtsTasks

请求示例

JSON
1GET /v1/task/{dtsId}
2Host: dts.baidubce.com
3Content-Type: application/json     
4Authorization: bce-auth-v1/5a6f0606bf5e48f29dd132aa76aa5182/2017-06-12T13:13:05Z/1800/content-type;host;x-bce-date/8baeafe6bfc35b0cf6205e87e4ce6c0dbb442375951ace4d16e6c7a4dab95943 

响应示例

JSON
1HTTP/1.1 200 OK
2{
3    "dtsId": "dtsm6cyahdf993gsske8",
4    "taskName": "专线迁移的MySQL迁移到RDS",
5    "status": "running",
6    "dataType": [
7        "schema",
8        "base",
9        "increment"
10    ],
11    "region": "bd->bd",
12    "createTime": "2022-12-01T06:24:33Z",
13    "srcConnection": {
14        "instanceType": "bcegateway",
15        "dbType": "mysql",
16        "region": "bj",
17        "dbHost": "172.16.1.37",
18        "dbPort": 3306,
19        "dbUser": "db1",
20        "dbPass": "",
21        "vpcShortId": "vpc-2a0giawvdben",
22        "subnetShortId": "sbn-ka9xp8yuj81n",
23        "zone": "cn-bd-c",
24        "field_whitelist": "",
25        "field_blacklist": ""
26    },
27    "dstConnection": {
28        "instanceType": "bcerds",
29        "dbType": "mysql",
30        "region": "bd",
31        "instanceId": "rds-U9MLckFU",
32        "sqlType": ""
33    },
34    "schemaMapping": [
35        {
36            "type": "table",
37            "src": "lws.t",
38            "dst": "test1.t1",
39            "where": ""
40        }
41    ],
42    "granularity": "dbtb",
43    "subStatus": [
44        {
45            "s": "closed",//结构
46            "b": "closed",//全量
47            "i": "running"//增量
48        }
49    ],
50    "dynamicInfo": {
51        "schema": [
52            {
53                "current": "1",//已迁移schema数 
54                "count": "1",//迁移总schema数
55                "speed": "0.100000",//迁移速度
56                "expectFinishTime": "0"// 预测剩余时间(s)
57            }
58        ],
59        "base": [
60            {
61                "current": "2", // 已迁移数据行数
62                "count": "2",// 迁移总数据行数
63                "speed": "0.200000",// 迁移速度
64                "expectFinishTime": "0"// 预测剩余时间(s)
65            }
66        ],
67        "increment": {
68            "delay": 0, // 延迟为0时表示增量同步追平
69            "position": "54638621-1505-11eb-bfa0-6c92bf3bcc61:1-29122194"// 增量同步位点与源端一致时表示增量同步追平
70        }
71    },
72    "statistic": {
73        "readSpeed": "",
74        "writeSpeed": ""
75    },
76    "errmsg": "",
77    "subDataScope": {
78        "startTime": "",
79        "endTime": ""
80    },
81    "payInfo": {
82        "productType": "postpay",
83        "sourceInstanceType": "OffBce",
84        "targetInstanceType": "OnBce",
85        "crossRegionTag": 1,
86        "createTime": 1669875877000,
87        "standard": "Large",
88        "endTime": null
89    },
90    "incrNetType": "large",
91    "netType": "large",
92    "incrIgnoreType": ""
93}

上一篇
专线迁移Redis Cluster迁移到云数据库Redis企业集群版-数据校验
下一篇
专线迁移Redis标准版迁移到云数据库Redis标准版-一键反向