弹性伸缩

MapReduce BMR

  • 发行版本
  • 功能发布记录
  • 产品描述
    • 节点类型说明
    • 产品优势
    • 应用场景
    • 产品功能
    • 产品简介
  • Python-SDK
    • Cluster(集群)
    • BmrClient
    • 异常处理
    • InstanceGroup(实例组)
    • 简介
    • 文档更新记录
    • Step(作业)
    • 版本变更记录
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
  • 开源组件介绍
    • Impala
    • Pig
    • Druid
    • Presto
    • Hue
    • Ooize
    • HBase
    • Kudu
    • Sqoop
    • Hadoop-Streaming
    • Zeppelin
    • Alluxio
    • Kerberos
      • 集群互信配置
      • 概述
    • ClickHouse
      • 常见问题
      • 数据迁移同步
        • 从Spark导入
        • 从Kafka同步数据
        • 将自建ClickHouse数据迁移到云ClickHouse中
        • 从Flink导入
        • 从MySQL导入和同步
        • 从本地数据导入
          • Parquet格式
          • JSON
          • SQL转储
          • CSV and TSV
      • 快速入门
        • 访问模式
        • 客户端登录
        • 创建ClickHouse集群
        • 基础操作
      • 运维相关操作
        • ClickHouse集群扩容
        • ClickHouse集群缩容
        • 日志配置说明
        • 监控告警配置
    • Ranger
      • ranger概述
      • 权限策略配置
    • Paimon
      • Hive示例
      • StarRocks示例
      • 联合查询示例
      • Flink示例
      • Spark示例
    • Flink
      • 基础使用
    • Trino
      • 基础使用
      • 概述
    • Spark
      • 引擎增强
      • 基础使用
    • Hive
      • 开发指南
        • 自定义函数(UDF)
      • 实践操作
        • Hive迁移
        • Hive操作HBase外表
      • 基础使用
        • Hive基础操作
        • Hive连接方式
  • Java-SDK
    • Cluster(集群)
    • 异常
    • BmrClient
    • InstanceGroup(实例组)
    • 日志
    • 文档更新记录
    • 版本更新记录
    • Step(作业)
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
    • 概述
  • 快速入门
    • 操作流程概览
    • 环境准备
    • 创建集群
    • 数据准备
    • 开发作业
    • 查看结果
    • ClickHouse
      • 导入数据
      • 创建数据库
      • 连接集群
      • 创建表
  • 操作指南
    • 集群模板
    • 服务管理
    • 集群配置
      • 用户管理
      • 弹性伸缩
      • 创建集群
      • 集群安全模式
      • EIP
      • Hive元数据说明
      • 集群审计
      • 配置已有集群
      • 安全组
    • 管理作业
      • 创建作业
      • 诊断、调优
      • 定时任务
      • 查看作业
    • 访问集群
      • 访问集群服务页面
      • 访问集群-openVPN访问集群
      • 使用OpenVPN提交Hadoop作业
      • SSH连接到集群
    • 实践操作
      • 存储数据至HBase
      • 导入数据
      • 编译Maven项目
      • Sqoop导入导出数据
        • 导出数据
    • 权限管理
      • 多用户访问控制
      • 用户管理
    • 集群管理
      • 节点管理
      • 监控报警
      • 集群指标
      • 资源管理
  • 服务等级协议SLA
    • BMR服务等级协议SLA
  • API参考
    • 通用说明
    • 公共头
    • 数据类型
    • 版本更新记录
    • 服务域名
    • 实例操作接口
    • 实例组操作接口
    • 集群操作接口
    • API简介
    • 错误码
  • 常见问题
    • 安全性问题
    • 计费类问题
    • 常见问题总览
    • 性能类问题
    • 配置类问题
    • 故障类问题
  • 视频专区
    • 操作指南
    • 产品介绍
  • 场景教程
    • 流式应用场景
    • 离线应用场景
    • 使用Hive分析网站日志
    • Sqoop应用文档
    • 定时分析日志数据
    • HIVE
      • 不同集群的 Hive 迁移方案
      • Hive 操作 Hbase 外部表
  • 产品定价
    • 转换计费方式
    • 计费项
    • 到期或欠费说明
    • 包年包月计费
    • 续费说明
    • 变更配置计费说明
    • 计费方式
    • 按需计费
    • 账单和用量查询
    • 退款说明
所有文档
menu
没有找到结果,请重新输入

MapReduce BMR

  • 发行版本
  • 功能发布记录
  • 产品描述
    • 节点类型说明
    • 产品优势
    • 应用场景
    • 产品功能
    • 产品简介
  • Python-SDK
    • Cluster(集群)
    • BmrClient
    • 异常处理
    • InstanceGroup(实例组)
    • 简介
    • 文档更新记录
    • Step(作业)
    • 版本变更记录
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
  • 开源组件介绍
    • Impala
    • Pig
    • Druid
    • Presto
    • Hue
    • Ooize
    • HBase
    • Kudu
    • Sqoop
    • Hadoop-Streaming
    • Zeppelin
    • Alluxio
    • Kerberos
      • 集群互信配置
      • 概述
    • ClickHouse
      • 常见问题
      • 数据迁移同步
        • 从Spark导入
        • 从Kafka同步数据
        • 将自建ClickHouse数据迁移到云ClickHouse中
        • 从Flink导入
        • 从MySQL导入和同步
        • 从本地数据导入
          • Parquet格式
          • JSON
          • SQL转储
          • CSV and TSV
      • 快速入门
        • 访问模式
        • 客户端登录
        • 创建ClickHouse集群
        • 基础操作
      • 运维相关操作
        • ClickHouse集群扩容
        • ClickHouse集群缩容
        • 日志配置说明
        • 监控告警配置
    • Ranger
      • ranger概述
      • 权限策略配置
    • Paimon
      • Hive示例
      • StarRocks示例
      • 联合查询示例
      • Flink示例
      • Spark示例
    • Flink
      • 基础使用
    • Trino
      • 基础使用
      • 概述
    • Spark
      • 引擎增强
      • 基础使用
    • Hive
      • 开发指南
        • 自定义函数(UDF)
      • 实践操作
        • Hive迁移
        • Hive操作HBase外表
      • 基础使用
        • Hive基础操作
        • Hive连接方式
  • Java-SDK
    • Cluster(集群)
    • 异常
    • BmrClient
    • InstanceGroup(实例组)
    • 日志
    • 文档更新记录
    • 版本更新记录
    • Step(作业)
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
    • 概述
  • 快速入门
    • 操作流程概览
    • 环境准备
    • 创建集群
    • 数据准备
    • 开发作业
    • 查看结果
    • ClickHouse
      • 导入数据
      • 创建数据库
      • 连接集群
      • 创建表
  • 操作指南
    • 集群模板
    • 服务管理
    • 集群配置
      • 用户管理
      • 弹性伸缩
      • 创建集群
      • 集群安全模式
      • EIP
      • Hive元数据说明
      • 集群审计
      • 配置已有集群
      • 安全组
    • 管理作业
      • 创建作业
      • 诊断、调优
      • 定时任务
      • 查看作业
    • 访问集群
      • 访问集群服务页面
      • 访问集群-openVPN访问集群
      • 使用OpenVPN提交Hadoop作业
      • SSH连接到集群
    • 实践操作
      • 存储数据至HBase
      • 导入数据
      • 编译Maven项目
      • Sqoop导入导出数据
        • 导出数据
    • 权限管理
      • 多用户访问控制
      • 用户管理
    • 集群管理
      • 节点管理
      • 监控报警
      • 集群指标
      • 资源管理
  • 服务等级协议SLA
    • BMR服务等级协议SLA
  • API参考
    • 通用说明
    • 公共头
    • 数据类型
    • 版本更新记录
    • 服务域名
    • 实例操作接口
    • 实例组操作接口
    • 集群操作接口
    • API简介
    • 错误码
  • 常见问题
    • 安全性问题
    • 计费类问题
    • 常见问题总览
    • 性能类问题
    • 配置类问题
    • 故障类问题
  • 视频专区
    • 操作指南
    • 产品介绍
  • 场景教程
    • 流式应用场景
    • 离线应用场景
    • 使用Hive分析网站日志
    • Sqoop应用文档
    • 定时分析日志数据
    • HIVE
      • 不同集群的 Hive 迁移方案
      • Hive 操作 Hbase 外部表
  • 产品定价
    • 转换计费方式
    • 计费项
    • 到期或欠费说明
    • 包年包月计费
    • 续费说明
    • 变更配置计费说明
    • 计费方式
    • 按需计费
    • 账单和用量查询
    • 退款说明
  • 文档中心
  • arrow
  • MapReduceBMR
  • arrow
  • 操作指南
  • arrow
  • 集群配置
  • arrow
  • 弹性伸缩
本页目录
  • 配置节点套餐
  • 管理伸缩规则
  • 配置规则
  • 修改规则
  • 查看伸缩日志

弹性伸缩

更新时间:2025-08-21

大数据处理及分析场景下,常常需要根据业务情况的变化动态调整集群的task节点数量,这样可以在保证作业顺利完成的同时,降低您的成本。弹性伸缩功能支持按时间规则或者按指标规则进行集群task节点规模的调整。适用于以下场景:

  • 业务规模具有时间周期规律,存在明显的波峰与波谷,例如特定时间的日报表、周报表等处理分析场景
  • 业务变化不具有时间规律,但需要保证重要作业的及时运行,需要根据集群负载指标动态调整集群规模

配置节点套餐

  1. 选择产品服务>数据分析>MapReduce>集群进入集群列表页面。
  2. 点击所选集群后方操作列中的弹性伸缩按钮,进入管理弹性伸缩页面。
  3. 在扩容节点配置栏中,点击新增节点类型,在弹框中选择节点套餐,并配置系统盘及数据盘,点击确认。
  4. 节点配置选择后,可点击修改或删除,重新配置节点套餐。节点套餐配置完成后,点击保存,则完成节点套餐配置操作。
  5. 释放所有扩容节点:在弹性伸缩页面,点击页面右上角的释放所有节点,即可释放当前已扩容的节点,并且所有规则将处于已失效的状态,不会触发伸缩操作。

说明:节点套餐一经保存后,在规则运行期间不允许修改套餐。若要修改套餐,需要点击页面右上角的重置并释放所有节点,将已扩容的节点释放并重置套餐类型。

管理伸缩规则

配置规则

伸缩规则分为时间规则与指标规则两种类型,两种规则间互相独立,不可同时生效。规则切换后,原有规则将会失效不再触发,已扩容的节点不会被释放,直到触发新的缩容规则。点击规则类型名称后,可进行规则切换。

1.单击创建扩容规则可以开始创建规则,下面详细介绍不同规则的具体配置说明。

注意:创建规则前请先配置节点套餐保存。

  • 时间规则
配置项 配置项说明
规则名称 必须以字母开头,支持字母、数字、特殊字符- _ /,长度在1-65个字符之间。
规则类型 不可选,与当前规则类型相同。
执行次数 可选重复执行或仅执行一次。
执行时间 重复执行时,先选择重复周期“每天”、“每周”、“每月”,再按照时-分-秒的格式选择执行的时间点;仅执行一次时,选择具体日期,再按照时-分-秒的格式选择执行的时间点。
伸缩行为 伸缩行为只会在限制的节点数范围内执行。
  • 指标规则
配置项 配置项说明
规则名称 必须以字母开头,支持字母、数字、特殊字符- _ /,长度在1-65个字符之间。
规则类型 不可选,与当前规则类型相同。
集群指标项 选择所要监控的集群指标项;选择指标数据的统计规则,当前可选平均值、最大值、最小值。
统计周期 评估所选集群指标项是否满足条件的时间周期,例如当5分钟统计周期内,Yarn内存使用量的平均值>80%时,触发规则。
阈值 选择运算符号“>”、“<”;配置阈值数字。
伸缩行为 为该条规则触发时扩容节点数量。
集群指标项定义 Yarn:
  • YarnMemoryPercentage:Yarn内存使用百分比
  • YarnAppsPending:Yarn中等待运行的任务数

    Cluster:
  • CpuUsagePercentage:集群平均cpu使用百分比
  • 修改规则

    修改规则需要进入弹性伸缩界面,在具体规则可以选择不同操作项(失效、编辑、删除)对规则进行修改。

    表一 操作项具体说明

    操作项 操作说明
    失效/生效 点击操作列中的失效/生效,可切换该条规则的状态。
    编辑 点击操作列中的编辑,可重新编辑规则。
    删除 点击操作列中的删除,可删除该条规则。
    规则状态 有两种状态。“生效中”,为该规则可被正常触发并执行相应操作;“已失效”,为该规则不可被触发。

    查看伸缩日志

    1. 选择产品服务>MapReduce>集群列表,点击集群名称进入集群详情页面。
    2. 在侧边导航点击弹性伸缩日志按钮,查看日志记录。

    表二 字段说明

    字段名称 字段说明
    开始时间 扩容、缩容操作开始的执行时间。
    结束时间 扩容、缩容操作结束的时间。若操作失败,则展示“无” 。
    规则名称 所触发的规则名称。
    节点类型 实例配置时选择的实例类型。
    伸缩行为 该条操作实际执行的节点数量。
    执行状态 该条操作执行的结果。
    执行完节点数目 该条操作执行完后的弹性伸缩task节点总数。
    操作 单击查看详情按钮,可查看伸缩规则的具体信息,包括规则类型、伸缩行为、执行方式和执行时间。

    上一篇
    用户管理
    下一篇
    创建集群