Formats
BSC 目前支持三种 format：JSON、CSV、TXT
支持的数据源
| 编码类型 |
Source |
Sink |
| CSV |
KAFKA、BOS、MQTT |
KAFKA、BOS、MQTT |
| JSON |
KAFKA、BOS、MQTT |
KAFKA、BOS、MQTT |
| TXT |
|
PALO |
公共参数
| 名称 |
简称 |
用例 |
SPARK |
FLINK |
说明 |
| format.encode |
encode |
JSON / CSV / TXT |
Y |
Y |
数据编码 |
JSON 参数设置
| 名称 |
简称 |
用例 |
SPARK |
FLINK |
说明 |
| format.options.fail-on-missing-field |
json.fail-on-missing-field |
true / false |
|
Y |
是否允许缺失的列补齐为null |
CSV 参数设置
| 名称 |
简称 |
用例 |
SPARK |
FLINK |
说明 |
| format.options.field-delimiter |
csv.field-delimiter |
, ; \t 等 |
Y |
Y |
列分隔符 |
| format.options.line-delimiter |
csv.line-delimiter |
\n 等 |
Y |
Y |
行分隔符 |
TXT 参数设置
| 名称 |
简称 |
用例 |
SPARK |
FLINK |
说明 |
| format.options.field-delimiter |
txt.field-delimiter |
, 等 |
Y |
Y |
列分隔符，仅适用于 PALO |
