Cluster(集群)

MapReduce BMR

  • 发行版本
  • 功能发布记录
  • 产品描述
    • 节点类型说明
    • 产品优势
    • 应用场景
    • 产品功能
    • 产品简介
  • Python-SDK
    • Cluster(集群)
    • BmrClient
    • 异常处理
    • InstanceGroup(实例组)
    • 简介
    • 文档更新记录
    • Step(作业)
    • 版本变更记录
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
  • 开源组件介绍
    • Impala
    • Pig
    • Druid
    • Presto
    • Hue
    • Ooize
    • HBase
    • Kudu
    • Sqoop
    • Hadoop-Streaming
    • Zeppelin
    • Alluxio
    • Kerberos
      • 集群互信配置
      • 概述
    • ClickHouse
      • 常见问题
      • 数据迁移同步
        • 从Spark导入
        • 从Kafka同步数据
        • 将自建ClickHouse数据迁移到云ClickHouse中
        • 从Flink导入
        • 从MySQL导入和同步
        • 从本地数据导入
          • Parquet格式
          • JSON
          • SQL转储
          • CSV and TSV
      • 快速入门
        • 访问模式
        • 客户端登录
        • 创建ClickHouse集群
        • 基础操作
      • 运维相关操作
        • ClickHouse集群扩容
        • ClickHouse集群缩容
        • 日志配置说明
        • 监控告警配置
    • Ranger
      • ranger概述
      • 权限策略配置
    • Paimon
      • Hive示例
      • StarRocks示例
      • 联合查询示例
      • Flink示例
      • Spark示例
    • Flink
      • 基础使用
    • Trino
      • 基础使用
      • 概述
    • Spark
      • 引擎增强
      • 基础使用
    • Hive
      • 开发指南
        • 自定义函数(UDF)
      • 实践操作
        • Hive迁移
        • Hive操作HBase外表
      • 基础使用
        • Hive基础操作
        • Hive连接方式
  • Java-SDK
    • Cluster(集群)
    • 异常
    • BmrClient
    • InstanceGroup(实例组)
    • 日志
    • 文档更新记录
    • 版本更新记录
    • Step(作业)
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
    • 概述
  • 快速入门
    • 操作流程概览
    • 环境准备
    • 创建集群
    • 数据准备
    • 开发作业
    • 查看结果
    • ClickHouse
      • 导入数据
      • 创建数据库
      • 连接集群
      • 创建表
  • 操作指南
    • 集群模板
    • 服务管理
    • 集群配置
      • 用户管理
      • 弹性伸缩
      • 创建集群
      • 集群安全模式
      • EIP
      • Hive元数据说明
      • 集群审计
      • 配置已有集群
      • 安全组
    • 管理作业
      • 创建作业
      • 诊断、调优
      • 定时任务
      • 查看作业
    • 访问集群
      • 访问集群服务页面
      • 访问集群-openVPN访问集群
      • 使用OpenVPN提交Hadoop作业
      • SSH连接到集群
    • 实践操作
      • 存储数据至HBase
      • 导入数据
      • 编译Maven项目
      • Sqoop导入导出数据
        • 导出数据
    • 权限管理
      • 多用户访问控制
      • 用户管理
    • 集群管理
      • 节点管理
      • 监控报警
      • 集群指标
      • 资源管理
  • 服务等级协议SLA
    • BMR服务等级协议SLA
  • API参考
    • 通用说明
    • 公共头
    • 数据类型
    • 版本更新记录
    • 服务域名
    • 实例操作接口
    • 实例组操作接口
    • 集群操作接口
    • API简介
    • 错误码
  • 常见问题
    • 安全性问题
    • 计费类问题
    • 常见问题总览
    • 性能类问题
    • 配置类问题
    • 故障类问题
  • 视频专区
    • 操作指南
    • 产品介绍
  • 场景教程
    • 流式应用场景
    • 离线应用场景
    • 使用Hive分析网站日志
    • Sqoop应用文档
    • 定时分析日志数据
    • HIVE
      • 不同集群的 Hive 迁移方案
      • Hive 操作 Hbase 外部表
  • 产品定价
    • 转换计费方式
    • 计费项
    • 到期或欠费说明
    • 包年包月计费
    • 续费说明
    • 变更配置计费说明
    • 计费方式
    • 按需计费
    • 账单和用量查询
    • 退款说明
所有文档
menu
没有找到结果,请重新输入

MapReduce BMR

  • 发行版本
  • 功能发布记录
  • 产品描述
    • 节点类型说明
    • 产品优势
    • 应用场景
    • 产品功能
    • 产品简介
  • Python-SDK
    • Cluster(集群)
    • BmrClient
    • 异常处理
    • InstanceGroup(实例组)
    • 简介
    • 文档更新记录
    • Step(作业)
    • 版本变更记录
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
  • 开源组件介绍
    • Impala
    • Pig
    • Druid
    • Presto
    • Hue
    • Ooize
    • HBase
    • Kudu
    • Sqoop
    • Hadoop-Streaming
    • Zeppelin
    • Alluxio
    • Kerberos
      • 集群互信配置
      • 概述
    • ClickHouse
      • 常见问题
      • 数据迁移同步
        • 从Spark导入
        • 从Kafka同步数据
        • 将自建ClickHouse数据迁移到云ClickHouse中
        • 从Flink导入
        • 从MySQL导入和同步
        • 从本地数据导入
          • Parquet格式
          • JSON
          • SQL转储
          • CSV and TSV
      • 快速入门
        • 访问模式
        • 客户端登录
        • 创建ClickHouse集群
        • 基础操作
      • 运维相关操作
        • ClickHouse集群扩容
        • ClickHouse集群缩容
        • 日志配置说明
        • 监控告警配置
    • Ranger
      • ranger概述
      • 权限策略配置
    • Paimon
      • Hive示例
      • StarRocks示例
      • 联合查询示例
      • Flink示例
      • Spark示例
    • Flink
      • 基础使用
    • Trino
      • 基础使用
      • 概述
    • Spark
      • 引擎增强
      • 基础使用
    • Hive
      • 开发指南
        • 自定义函数(UDF)
      • 实践操作
        • Hive迁移
        • Hive操作HBase外表
      • 基础使用
        • Hive基础操作
        • Hive连接方式
  • Java-SDK
    • Cluster(集群)
    • 异常
    • BmrClient
    • InstanceGroup(实例组)
    • 日志
    • 文档更新记录
    • 版本更新记录
    • Step(作业)
    • Instance(实例)
    • 快速入门
    • 安装SDK工具包
    • 概述
  • 快速入门
    • 操作流程概览
    • 环境准备
    • 创建集群
    • 数据准备
    • 开发作业
    • 查看结果
    • ClickHouse
      • 导入数据
      • 创建数据库
      • 连接集群
      • 创建表
  • 操作指南
    • 集群模板
    • 服务管理
    • 集群配置
      • 用户管理
      • 弹性伸缩
      • 创建集群
      • 集群安全模式
      • EIP
      • Hive元数据说明
      • 集群审计
      • 配置已有集群
      • 安全组
    • 管理作业
      • 创建作业
      • 诊断、调优
      • 定时任务
      • 查看作业
    • 访问集群
      • 访问集群服务页面
      • 访问集群-openVPN访问集群
      • 使用OpenVPN提交Hadoop作业
      • SSH连接到集群
    • 实践操作
      • 存储数据至HBase
      • 导入数据
      • 编译Maven项目
      • Sqoop导入导出数据
        • 导出数据
    • 权限管理
      • 多用户访问控制
      • 用户管理
    • 集群管理
      • 节点管理
      • 监控报警
      • 集群指标
      • 资源管理
  • 服务等级协议SLA
    • BMR服务等级协议SLA
  • API参考
    • 通用说明
    • 公共头
    • 数据类型
    • 版本更新记录
    • 服务域名
    • 实例操作接口
    • 实例组操作接口
    • 集群操作接口
    • API简介
    • 错误码
  • 常见问题
    • 安全性问题
    • 计费类问题
    • 常见问题总览
    • 性能类问题
    • 配置类问题
    • 故障类问题
  • 视频专区
    • 操作指南
    • 产品介绍
  • 场景教程
    • 流式应用场景
    • 离线应用场景
    • 使用Hive分析网站日志
    • Sqoop应用文档
    • 定时分析日志数据
    • HIVE
      • 不同集群的 Hive 迁移方案
      • Hive 操作 Hbase 外部表
  • 产品定价
    • 转换计费方式
    • 计费项
    • 到期或欠费说明
    • 包年包月计费
    • 续费说明
    • 变更配置计费说明
    • 计费方式
    • 按需计费
    • 账单和用量查询
    • 退款说明
  • 文档中心
  • arrow
  • MapReduceBMR
  • arrow
  • Python-SDK
  • arrow
  • Cluster(集群)
本页目录
  • 新建cluster
  • 列出全部cluster
  • 查询指定的cluster
  • 终止指定的cluster

Cluster(集群)

更新时间:2025-08-21

新建cluster

如下代码可以新建一个集群,集群包含1个master节点和2个core节点,且安装了Hive、Pig、HBase应用。请注意:参考下面样例代码时,需要修改log_uri参数指定BOS路径为您的账户可用的BOS路径。

Plain Text
1instance_groups = [
2    BmrClient.instance_group(
3        'Master',
4        'bmr.g1.xlarge	',
5        1,
6        'ig-master'
7    ),
8    BmrClient.instance_group(
9        'Core',
10        'bmr.g1.xlarge	',
11        3,
12        'ig-core'
13    )
14]  # 构造请求体
15request_body = {
16    'applications': [
17        {
18            "name": "hive",
19            "version": "3.1.0"
20        },
21        {
22            "name": "pig",
23            "version": "0.17.0"
24        },
25        {
26            "name": "hbase",
27            "version": "2.2.7"
28        }
29    ],
30    'auto_terminate': False,
31    'admin_pass': '1234rewq!',
32    'name': 'sdk-cluster01',
33    'service_ha_enabled': False,
34    'safe_mode_enabled': False
35}
36
37try:
38    response = bmr_client.create_cluster(
39        'hadoop',
40        '2.2.1',
41        instance_groups,
42        **request_body)
43    cluster_id = response.cluster_id
44except BceHttpClientError as e:
45    if isinstance(e.last_error, BceServerError):
46        LOG.error('create_cluster failed. Response %s, code: %s, msg: %s'
47                  % (e.last_error.status_code, e.last_error.code, e.last_error.args))
48    else:
49        LOG.error('create_cluster failed. Unknown exception: %s' % e)

售卖的套餐类型请参考https://cloud.baidu.com/doc/BMR/s/6jwvxw85z

列出全部cluster

如下代码可以罗列出属于请求调用者的所有集群,用户可以通过配置查询参数max_keys来限制每次请求返回的集群数目:

Python
1try:
2    response = bmr_client.list_clusters(max_keys=5)
3    LOG.debug('list total %s clusters' % len(response.clusters))
4    # 输出各个集群的信息
5    for cluster in response.clusters:
6        LOG.debug('cluster: %s' % cluster)
7except BceHttpClientError as e:
8    if isinstance(e.last_error, BceServerError):
9        LOG.error('list_clusters failed. Response %s, code: %s, msg: %s'
10                  % (e.last_error.status_code, e.last_error.code, e.last_error.args))
11    else:
12        LOG.error('list_clusters failed. Unknown exception: %s' % e)

另外,也可以使用分页查询的方式来获取所有集群,通过配置max_keys来限制每页查询返回的集群数目:

Python
1try:
2    page = 1
3    next_marker = None
4    max_keys = 5
5    is_truncated = True
6    while is_truncated:
7        response = bmr_client.list_clusters(marker=next_marker, max_keys=max_keys)
8        LOG.debug('list %s clusters on Page %s' % (len(response.clusters), page))
9        page += 1
10        is_truncated = response.is_truncated
11        next_marker = response.next_marker
12except BceHttpClientError as e:
13    if isinstance(e.last_error, BceServerError):
14        LOG.error('list_clusters failed. Response %s, code: %s, msg: %s'
15                  % (e.last_error.status_code, e.last_error.code, e.last_error.args))
16    else:
17        LOG.error('list_clusters failed. Unknown exception: %s' % e)

查询指定的cluster

获取了集群ID后,可用如下代码查询指定集群的信息:

Python
1try:
2    response = bmr_client.get_cluster(cluster_id)
3    # 输出集群的状态信息
4    status = response.status.state
5    LOG.debug('check cluster %s: status %s' % (cluster_id, status))
6except BceHttpClientError as e:
7    if isinstance(e.last_error, BceServerError):
8        LOG.error('get_cluster failed. Response %s, code: %s, msg: %s'
9                  % (e.last_error.status_code, e.last_error.code, e.last_error.args))
10    else:
11        LOG.error('describe_cluster failed. Unknown exception: %s' % e)

终止指定的cluster

如下代码可以终止指定的集群:

Python
1try:
2    response = bmr_client.terminate_cluster(cluster_id)
3    LOG.debug('terminate cluster %s: status %s' % (cluster_id, response.status))
4except BceHttpClientError as e:
5    if isinstance(e.last_error, BceServerError):
6        LOG.error('terminate_cluster failed. Response %s, code: %s, msg: %s'
7                  % (e.last_error.status_code, e.last_error.code, e.last_error.args))
8    else:
9        LOG.error('terminate_cluster failed. Unknown exception: %s' % e)

上一篇
产品描述
下一篇
BmrClient