创建集群

MapReduce BMR

  • 发行版本
  • 功能发布记录
  • 产品描述
    • 节点类型说明
    • 产品优势
    • 应用场景
    • 产品功能
    • 产品简介
  • Python-SDK
    • Cluster(集群)
    • BmrClient
    • 异常处理
    • InstanceGroup(实例组)
    • 简介
    • 文档更新记录
    • Step(作业)
    • 版本变更记录
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
  • 开源组件介绍
    • Impala
    • Pig
    • Druid
    • Presto
    • Hue
    • Ooize
    • HBase
    • Kudu
    • Sqoop
    • Hadoop-Streaming
    • Zeppelin
    • Alluxio
    • Kerberos
      • 集群互信配置
      • 概述
    • ClickHouse
      • 常见问题
      • 数据迁移同步
        • 从Spark导入
        • 从Kafka同步数据
        • 将自建ClickHouse数据迁移到云ClickHouse中
        • 从Flink导入
        • 从MySQL导入和同步
        • 从本地数据导入
          • Parquet格式
          • JSON
          • SQL转储
          • CSV and TSV
      • 快速入门
        • 访问模式
        • 客户端登录
        • 创建ClickHouse集群
        • 基础操作
      • 运维相关操作
        • ClickHouse集群扩容
        • ClickHouse集群缩容
        • 日志配置说明
        • 监控告警配置
    • Ranger
      • ranger概述
      • 权限策略配置
    • Paimon
      • Hive示例
      • StarRocks示例
      • 联合查询示例
      • Flink示例
      • Spark示例
    • Flink
      • 基础使用
    • Trino
      • 基础使用
      • 概述
    • Spark
      • 引擎增强
      • 基础使用
    • Hive
      • 开发指南
        • 自定义函数(UDF)
      • 实践操作
        • Hive迁移
        • Hive操作HBase外表
      • 基础使用
        • Hive基础操作
        • Hive连接方式
  • Java-SDK
    • Cluster(集群)
    • 异常
    • BmrClient
    • InstanceGroup(实例组)
    • 日志
    • 文档更新记录
    • 版本更新记录
    • Step(作业)
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
    • 概述
  • 快速入门
    • 操作流程概览
    • 环境准备
    • 创建集群
    • 数据准备
    • 开发作业
    • 查看结果
    • ClickHouse
      • 导入数据
      • 创建数据库
      • 连接集群
      • 创建表
  • 操作指南
    • 集群模板
    • 服务管理
    • 集群配置
      • 用户管理
      • 弹性伸缩
      • 创建集群
      • 集群安全模式
      • EIP
      • Hive元数据说明
      • 集群审计
      • 配置已有集群
      • 安全组
    • 管理作业
      • 创建作业
      • 诊断、调优
      • 定时任务
      • 查看作业
    • 访问集群
      • 访问集群服务页面
      • 访问集群-openVPN访问集群
      • 使用OpenVPN提交Hadoop作业
      • SSH连接到集群
    • 实践操作
      • 存储数据至HBase
      • 导入数据
      • 编译Maven项目
      • Sqoop导入导出数据
        • 导出数据
    • 权限管理
      • 多用户访问控制
      • 用户管理
    • 集群管理
      • 节点管理
      • 监控报警
      • 集群指标
      • 资源管理
  • 服务等级协议SLA
    • BMR服务等级协议SLA
  • API参考
    • 通用说明
    • 公共头
    • 数据类型
    • 版本更新记录
    • 服务域名
    • 实例操作接口
    • 实例组操作接口
    • 集群操作接口
    • API简介
    • 错误码
  • 常见问题
    • 安全性问题
    • 计费类问题
    • 常见问题总览
    • 性能类问题
    • 配置类问题
    • 故障类问题
  • 视频专区
    • 操作指南
    • 产品介绍
  • 场景教程
    • 流式应用场景
    • 离线应用场景
    • 使用Hive分析网站日志
    • Sqoop应用文档
    • 定时分析日志数据
    • HIVE
      • 不同集群的 Hive 迁移方案
      • Hive 操作 Hbase 外部表
  • 产品定价
    • 转换计费方式
    • 计费项
    • 到期或欠费说明
    • 包年包月计费
    • 续费说明
    • 变更配置计费说明
    • 计费方式
    • 按需计费
    • 账单和用量查询
    • 退款说明
所有文档
menu
没有找到结果,请重新输入

MapReduce BMR

  • 发行版本
  • 功能发布记录
  • 产品描述
    • 节点类型说明
    • 产品优势
    • 应用场景
    • 产品功能
    • 产品简介
  • Python-SDK
    • Cluster(集群)
    • BmrClient
    • 异常处理
    • InstanceGroup(实例组)
    • 简介
    • 文档更新记录
    • Step(作业)
    • 版本变更记录
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
  • 开源组件介绍
    • Impala
    • Pig
    • Druid
    • Presto
    • Hue
    • Ooize
    • HBase
    • Kudu
    • Sqoop
    • Hadoop-Streaming
    • Zeppelin
    • Alluxio
    • Kerberos
      • 集群互信配置
      • 概述
    • ClickHouse
      • 常见问题
      • 数据迁移同步
        • 从Spark导入
        • 从Kafka同步数据
        • 将自建ClickHouse数据迁移到云ClickHouse中
        • 从Flink导入
        • 从MySQL导入和同步
        • 从本地数据导入
          • Parquet格式
          • JSON
          • SQL转储
          • CSV and TSV
      • 快速入门
        • 访问模式
        • 客户端登录
        • 创建ClickHouse集群
        • 基础操作
      • 运维相关操作
        • ClickHouse集群扩容
        • ClickHouse集群缩容
        • 日志配置说明
        • 监控告警配置
    • Ranger
      • ranger概述
      • 权限策略配置
    • Paimon
      • Hive示例
      • StarRocks示例
      • 联合查询示例
      • Flink示例
      • Spark示例
    • Flink
      • 基础使用
    • Trino
      • 基础使用
      • 概述
    • Spark
      • 引擎增强
      • 基础使用
    • Hive
      • 开发指南
        • 自定义函数(UDF)
      • 实践操作
        • Hive迁移
        • Hive操作HBase外表
      • 基础使用
        • Hive基础操作
        • Hive连接方式
  • Java-SDK
    • Cluster(集群)
    • 异常
    • BmrClient
    • InstanceGroup(实例组)
    • 日志
    • 文档更新记录
    • 版本更新记录
    • Step(作业)
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
    • 概述
  • 快速入门
    • 操作流程概览
    • 环境准备
    • 创建集群
    • 数据准备
    • 开发作业
    • 查看结果
    • ClickHouse
      • 导入数据
      • 创建数据库
      • 连接集群
      • 创建表
  • 操作指南
    • 集群模板
    • 服务管理
    • 集群配置
      • 用户管理
      • 弹性伸缩
      • 创建集群
      • 集群安全模式
      • EIP
      • Hive元数据说明
      • 集群审计
      • 配置已有集群
      • 安全组
    • 管理作业
      • 创建作业
      • 诊断、调优
      • 定时任务
      • 查看作业
    • 访问集群
      • 访问集群服务页面
      • 访问集群-openVPN访问集群
      • 使用OpenVPN提交Hadoop作业
      • SSH连接到集群
    • 实践操作
      • 存储数据至HBase
      • 导入数据
      • 编译Maven项目
      • Sqoop导入导出数据
        • 导出数据
    • 权限管理
      • 多用户访问控制
      • 用户管理
    • 集群管理
      • 节点管理
      • 监控报警
      • 集群指标
      • 资源管理
  • 服务等级协议SLA
    • BMR服务等级协议SLA
  • API参考
    • 通用说明
    • 公共头
    • 数据类型
    • 版本更新记录
    • 服务域名
    • 实例操作接口
    • 实例组操作接口
    • 集群操作接口
    • API简介
    • 错误码
  • 常见问题
    • 安全性问题
    • 计费类问题
    • 常见问题总览
    • 性能类问题
    • 配置类问题
    • 故障类问题
  • 视频专区
    • 操作指南
    • 产品介绍
  • 场景教程
    • 流式应用场景
    • 离线应用场景
    • 使用Hive分析网站日志
    • Sqoop应用文档
    • 定时分析日志数据
    • HIVE
      • 不同集群的 Hive 迁移方案
      • Hive 操作 Hbase 外部表
  • 产品定价
    • 转换计费方式
    • 计费项
    • 到期或欠费说明
    • 包年包月计费
    • 续费说明
    • 变更配置计费说明
    • 计费方式
    • 按需计费
    • 账单和用量查询
    • 退款说明
  • 文档中心
  • arrow
  • MapReduceBMR
  • arrow
  • 操作指南
  • arrow
  • 集群配置
  • arrow
  • 创建集群
本页目录
  • 创建自定义集群
  • 选择集群配置
  • 集群基础设置说明
  • 集群标签
  • 基础配置说明
  • 实例组配置
  • 付费方式和地区
  • 网络配置
  • 确认订单
  • 使用系统预定义模板创建集群
  • 附录

创建集群

更新时间:2025-08-21

BMR提供两种创建集群的方法:创建自定义集群、使用系统预定义模板创建集群。BMR为用户保留集群的历史记录长达一年,涵盖了运行中、已释放和已终止等各种状态的集群。超过一年的历史集群记录将不再被保留。

创建自定义集群

  1. 登录控制台,选择产品服务-MapReduce BMR,进入集群列表页。
  2. (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。
  3. 点击创建集群,进入创建集群页。

选择集群配置

集群基础设置说明

表一 集群基础设置配置项说明

配置项 配置项说明
集群类型 目前MapReduce支持三种集群类型,不同类型对应不同资源规格和可选服务,请根据实际业务需要选择进行集群创建默认 Hadoop 集群类型
集群版本 BMR发行版是依据开源社区版本、客户需求进行各类服务的统一镜像,各服务的版本由集群版本决定
必选服务 指依据不同集群类型,用户必须安装的服务。例如,hadoop类型集群必选服务为:hdfs、yarn、mapreduce、zookeeper、ldap
可选服务 指依据不同集群类型,用户可自定义选择的服务。例如,hbase类型集群可选服务为:yarn、mapreduce、ranger
安全模式 开启后,集群中的组件以Kerberos安全模式启动,支持统一的 集群安全管理方案
日志 自动收集应用运行日志,支持检索和问题定位。
地址格式:bos://{bucket_name},bucket需手动创建,folder输入后系统会自动创建

集群标签

标签支持您按各种标准(如用途、所有者或项目)对资源进行分类;每个标签包含键和值两部分。默认一个标签如有需要点击下方添加标签进行添加。

基础配置说明

表二 基础配置项说明

配置项名称 配置项说明
集群名称 用于区分不同集群的唯一性。
管理员密码 该密码可以用于登录创建的集群机器,请设置复杂密码,必须以字母、数字、特殊字符组合,长度在8-17个字符之间。
确认管理员密码 再次输入管理员密码。
管理员用户名 root。用户远程SSH到集群进行管理。
短信开关 默认开启。
是否启用免费短信提醒服务,启动后系统将发送报警短信给指定的联系人。

实例组配置

付费方式和地区

  1. 选择付费方式:
  • 预付费:以自然年或自然月为计费周期支付订单,先付费后使用服务,价格较后付费更低
  • 后付费:按分钟实时计费,按小时扣费,先使用服务后付费
  1. 自动终止开启/关闭。

开启时,当最后一个作业执行完毕后,自动释放集群,否则集群会一直保持运行,需手动释放。并且可选择超时设置开启/关闭,开启后,可以设置集群的最大运行时间,如果超过,集群会被释放。

  1. 当前区域展示选择后区域,如需修改购买其他地域产品,请前往主导航进行切换。
  2. 选择可用区后,填写网络配置和实例组配置。

网络配置

表三 网络配置说明

配置项名称 配置项说明
内网DNS解析 内网DNS为百度云提供的独立的网络产品,可以实现域名(主机名)与ip之间的自动解析。对于不同集群间,BMR集群与BCC间,需要通过域名(主机名)进行互相访问,数据传输时,可以使用该功能。详情请查看智能云解析DNS。
开启内网DNS的BMR集群将自动关联内网DNS产品,自动加入名为novalocal的私有域(若无该私有域,将自动创建)开启内网DNS解析后,可以实现集群间数据通信。开启后BMR集群将自动关联内网DNS,若无DNS,则会自动创建。
需要注意的是:
1.开启该功能,智能云解析DNS(内网DNS)产品,将根据使用量进行收费。当前智能云解析DNS(内网DNS)处于公测免费阶段,详情请查看产品定价。
2.该功能开启后,暂不支持关闭,请合理规划集群使用用途。释放集群时,为保证其他集群(如有)的正常使用,关联的内网DNS私有域不会自动释放,请您在确定没有其他集群使用该功能时,进入智能云解析DNS控制台,将相关资源进行释放,以免带来不必要的计费。
3.当通过子用户创建BMR集群时,开启内网DNS功能,需要您进入多用户访问控制中,为该用户授予“LDFullControlPolicy”权限,否则该功能无法使用。
网络类型 若VPC未进行域名配置,会导致您无法成功创建集群,请前往VPC控制台确认VPC域名已被正确配置。
安全组 安全组具有防火墙功能,用于设置云服务器 CVM 的网络访问控制。
MapReduce自动默认一个安全组配置,该配置影响集群机器的安全组配置,非必要不进行修改。
自动终止 默认关闭。
开启时,当最后一个作业执行完毕后,自动释放集群,否则集群会一直保持运行,需手动释放。

表四 实例组配置说明

配置项名称 说明
高可用 开启后,集群拥有三个master实例,支持核心组件自动故障转移。
计算类型及实例组 MASTER节点:支持通用型、计算型、内存型。购买数量非高可用集群为1个,高可用集群为3个。
Task节点:支持通用型、计算型、内存型、本地SSD型、大数据型。购买数量默认为0个,最大可设置50个。控制台上一个集群仅能添加一组Task节点,请规划好套餐设置
CORE节点:支持通用型、计算型、内存型、本地SSD型、大数据型。购买数量默认为2个,最少设置2个,最大可设置200个。
Client节点:支持通用型、计算型、内存型。购买数量默认为0个,最大可设置10个。
系统盘 系统盘类型支持高性能云磁盘、SSD云磁盘和增强型云磁盘。容量为40-500GB,ssd(免费赠送40GB,超出部分需要单独付费)。
数据盘 数据盘类型支持高性能云磁盘、SSD云磁盘和增强型云磁盘。数目默认为1,最大可设置为5。 容量:50-32765GB, ssd(SSD云磁盘 / 高性能云磁盘/增强型云磁盘)。选择说明
  1. 如果出现规格售罄情况,建议尝试更换区域和可用区。在付费方式和地区切换区域和可用区,查看其它地域内是否有您的服务器。

确认订单

表五 确认订单说明

显示项 显示项说明
BMR集群信息 显示配置完成的BMR集群配置信息,确认是否无误。
代金券选择 代金券分预付费和后付费:
  • 预付费订单在这一步选择代金券,如有代金券可选择激活。也可进入代金券管理进行详细操作。
  • 后付费订单如果您有代金券,产生账单后会优先从可用代金券中扣除;如果有折扣,会在实际产生的账单中体现。
  • 支付订单 1.确认无误后,点击去支付后跳转订单支付界面。页面会再次展示订单详情,请您再次核对订单无误后选择具体的支付方式进行支付。
    2.确认支付完成后,系统会更新订单状态,此时集群创建完毕。

    使用系统预定义模板创建集群

    1. 在产品服务->MapReduce-集群模板页中,在集群模版列表中,在操作列点击创建集群。具体模板创建详见集群模版。
    2. 进入配置界面,输入之前创建模板时的管理员密码后点击下一步。
    3. 完成订单确认和支付后可完成创建集群。

    附录

    表六 组件依赖说明

    组件名称 依赖组件
    ranger ranger-plugin
    yarn hdfs、zookeeper
    hdfs zookeeper
    rapidfs hdfs、bos
    mapreduce2 hdfs、yarn
    tez hdfs、yarn
    spark2 hfds、yarn
    spark3 hdfs、yarn
    flink hdfs、yarn
    hive hdfs、yarn、tez
    hbase hdfs、zookeeper
    pig hdfs、yarn
    presto 通常和 hive 元数据搭配使用
    impala 通常和 kudu 搭配使用
    kudu 通常和 impala 搭配使用
    kyuubi spark
    hudi 通常和 spark、flink 搭配使用
    iceberg 通常和 spark、flink 搭配使用
    detalake spark
    oozie hdfs yarn

    上一篇
    弹性伸缩
    下一篇
    集群安全模式