开发作业

更新时间：2025-08-21

通过一个SPARK STREAM SQL作业实例来展现百度流式计算BSC上端到端的开发流程。本样例作业上游为KAFKA，下游为BOS。

准备工作

若没有用户名，请先完成注册，操作请参考注册百度账号。
创建作业前需确保账号已开通流式计算BSC服务，操作请参考开通服务。
在页面左上角选择区域，在不同区域创建的作业所依赖的资源不同。
说明：
- 百度智能云目前开放多区域支持，如果您需要在多区域新增作业，请参考区域选择说明。
- 在不同区域创建的实例相互独立。

创建作业

登录百度智能云控制台
选择 产品服务 > 智能大数据 > 流式计算BSC
选择 华北 - 北京 区域（样例中用到的KAFKA上游主题创建在此区域）
创建一个 SPARK_STREAM/SQL 类型的BSC作业，操作请参考新增作业。
通过资源管理，上传KAFKA证书，并绑定至当前作业，操作请参考资源管理。

下载样例KAFKA证书

说明：此KAFKA证书仅提供样例主题的读权限。

编辑作业

示例作业的完整SQL语句如下（用户可以直接粘贴到编辑器中，更新输出端BOS地址，进行作业调试）：

Plain Text

1-- 创建输入端表（source），连接KAFKA消息队列
2create table source_table_kafka(
3    stringtype STRING,
4    longtype BIGINT,
5    floattype FLOAT,
6    binarytype Binary,
7    integertype Integer,
8    bytetype Byte,
9    booleantype Boolean,
10    datetype TIMESTAMP,
11    doubletype Double,
12    shorttype Short
13) with(
14    'connector.type' = 'KAFKA',
15    'connector.topic' = '2a504dd6a8344952b10835451d2d2ebb__BSC_Sample',
16    'format.encode' = 'JSON',
17    'connector.properties.bootstrap.servers' = 'kafka.bj.baidubce.com:9091',
18    'connector.properties.ssl.filename' = 'BSC_Sample_kafka-key.zip'
19);
20
21-- 创建输出端表（sink），连接BOS
22create table sink_table_bos(
23    stringtype_out String,
24    longtype_out BIGINT
25) with(
26    'connector.type' = 'BOS',
27    'format.encode' = 'JSON',
28    'connector.path' = 'bos://BOS_BUCKET_NAME/BOS_OBJECT_NAME' -- 用户需替换为实际BOS地址
29);
30
31-- 具体作业处理逻辑
32insert into
33    sink_table_bos
34select
35    stringtype AS stringtype_out,
36    longtype AS longtype_out
37from
38    source_table_kafka

输入/输出端

样例中输入端为KAFKA，输出端为BOS（相同region下），具体参数含义及其它支持的输入/输出端类型，请参考 DDL语句。
输入端表的Scheme需与具体导入数据格式相匹配
- 若格式为CSV，格式及字段顺序需完全匹配
- 若格式为JSON，字段无需完全匹配
输出端表的Scheme需与具体作业逻辑输出数据相匹配

编写处理业务逻辑的SQL语句

样例中，从输入端表选取stringtype和longtype两字段，不做额外逻辑处理，仅重命名字段为stringtype_out和longtype_out储存于输出端表中。如需查看其它语法及与语句，请参考 DML语句。

调试作业

下载样例调试数据

点击工具栏内调试按钮，弹出上传输入端测试数据的页面。如有多输入源，可在页面左侧选择切换输入源。
- 上传文件：现阶段仅支持JSON文件类型
选择 文件上传，上传样例数据。
点击 开始调试 ，开始运行调试作业。
作业完成后，会在 调试日志 中提示，用户可在 调试结果 处看到调试结果。

发布作业

点击发布按钮，即可发布作业。发布成功后，作业会出现在 作业运维 页面下的作业列表。

启动作业

选择 百度流式计算BSC > 作业管理 > 作业运维 ，进入到作业运维页面。
在作业列表处选择刚刚创建的作业。
选中作业后，点击右侧工具栏启动按钮，弹出作业资源配置界面。用户可根据实际需要对作业起始时间、网络类型、安全组、CU数目及规格进行配置。
完成配置后，点击启动按钮启动作业。作业启动后，会根据用户所选 CU数目及规格进行收费。
作业启动后，可在 作业运维 页面查看作业日志。

开通服务

典型实践

百度流式计算 BSC