创建投递任务

任务信息

1. 在日志服务页面中点击“投递任务”，进入“投递任务列表”页面，点击“创建投递任务”，进入创建投递任务页面，填写配置信息。
2. 在"任务信息“中，请输入任务名称。

通用投递配置

请在投递配置相关中输入您期望的源日志集、投递目的、压缩类型、间隔时长、字段定义等内容。

• 日志集：在下拉菜单中选择需要被投递的日志集,支持输入日志集名称搜索。
• 日志起始时间：输入期望开始的日志投递时间，可设置精确至秒级，默认为当前时刻。

• 投递目的：支持BOS和Kafka两种方式

  • BOS方式：

    • BOS路径：选择期待投递至的BOS桶的路径

      • 已创建bucket：若在BOS控制台已成功创建bukcet，可在下拉列表中选择该bucket。（若未找到，请您检查该bukcet是否与投递的日志集处于同一region）
      • 未创建Bucket：若未创建bucket，可点击下拉列表中的创建Bucket进行新建。

    • 时间分区格式：您可设置时间分区格式，支持到分钟级别颗粒度信息，默认格式为%Y/%m/%d/%H/%M/。
    • 日志流分区：开启日志流分区后，日志流将作为BOS的分区路径，投递到BOS中的文件将会存储在%Y/%m/%d/%H/%M/%logStram路径之下。
    • 投递Size上限：设置投递Size上限后，若投递文件大小超过该上限，日志文件将会被分成多个部分，以此控制BOS中Object大小。

  • Kafka方式：

    • 集群：选择已有集群，或者跳转Kafka新建集群（注：集群需要在Kafka产品控制台开启产品转储开关）
    • 主题：选择上面所选集群的主题

  

• 压缩类型（只BOS投递目标支持）：选择是否启用先压缩日志文件后投递的功能，默认不启用，若需启用请选择压缩算法，各压缩算法特点如下：

  • Gzip：压缩率高，可有效节省空间，但压缩速度慢，且较Snappy和Lzop更多占用CPU资源。
  • Snappy：压缩速度快，但压缩率低于Gzip。
  • Lzop:压缩速度快，但稍慢于Snappy，压缩率也稍高于Snappy。
  • Bzip2:压缩速度高，高于Gzip，但压缩速度慢。

• 字段定义：若开启保留原文，将原文部分进行投递；若未开启保留原文，BLS将解析出的kv对填充为原文投递；若未解析，BLS将未解析的日志作为原文投递。

• 存储格式配置：字段定义选择键值对时，支持存储为不同的存储格式，包括JSON格式、Parquet格式、CSV格式，不同存储格式配置如下：

  • JSON格式：数据将按照JSON格式投递至BOS和Kafka中，无需额外配置
  • Parquet格式：数据将按照Parquet格式投递至BOS中，无需额外配置（只BOS投递目标支持）
  • CSV格式：

• 分隔符：支持空格、制表符、竖线、逗号作为分隔符，并且支持用户自定义分隔符，自定义格式限制最多3个字符。
• 引用符：当字段出现分隔符中的字符时，需要使用引用符包裹，避免字段被误分割。
• 投递字段名称：开启该选项后，字段名称将写入CSV文件。

• 投递间隔时间：投递任务将按照系统时间周期触发运行，周期可以指定为5-60分钟。