CCE Node Problem Detector 说明

组件介绍

在 Kubernetes 集群的实际使用过程中，节点可能由于各种原因出现异常，导致影响服务的整体可用性。另外，由于 Kubernetes 的控制面在默认情况下，无法及时感知节点异常，导致在调度的过程中，将实例调度到不可用的节点上；而作为集群的使用者，用户往往也无法及时感知到集群中节点或实例的故障，导致不能及时进行止损处理。当遇到节点或实例故障时，用户期望平台能实现自动的故障恢复，例如自动迁移故障节点上的实例等。

Node-Problem-Detector 是为集群提供节点故障检测的扩展能力，用户在集群中安装该组件后，会以 DaemonSet 形式运行，来实时检测节点上的各种异常情况，并将检测结果报告给上游的 Kube-APIServer。

组件功能

• 提供节点故障检测能力

• 支持的故障上报方式包括

  • NodeCondition（节点状况）：可能造成 Pod 无法在这个节点运行
  • Event（事件）：影响节点的临时性问题，但是它对于系统诊断是有意义的
  • Metrics：以上两种情况，会同时生成 Prometheus 指标，可供采集和展示

限制说明

• 集群版本在 1.18.9 以上

安装组件

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，单击进入容器引擎管理控制台。
3. 单击左侧导航栏中的 集群管理 > 集群列表 。
4. 在集群列表页面中，单击目标集群名称进入集群管理页面。
5. 在集群管理页面单击 组件管理 。
6. 在组件管理列表中选择 CCE Node Problem Detector 组件单击“安装”。
7. 点击“确定”按钮完成组件的安装。

查看集群健康检查状态

安装组件后，可以在节点健康检查界面查看故障情况。

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，单击进入容器引擎管理控制台。
3. 单击左侧导航栏中的 集群管理 > 集群列表 。
4. 在集群列表页面中，单击目标集群名称进入集群管理页面。
5. 在集群管理页面单击 节点管理 > Worker , 进入节点管理界面。
6. 点击 健康检查 图标即可展示节点的健康检查状态：

7. 查看健康检查状态。目前，仅 NetworkUnavailable 和 Ready 会影响节点是否可用。

故障状态

Node Conditions

安装 CCE-Node-Problem-Detector 后，会在节点中添加以下 Conditions：

EBC 机型故障检测介绍

针对于EBC弹性裸金属服务器，Node-Problem-Detector对接百度云硬件感知组件HAS-agent，新增对GPU/RDMA网卡/CPU/内存等硬件健康检测能力。

前提

1. 机器上已经安装百度云硬件感知组件HAS-agent。

GPU检测

CPU/内存检测

网卡检测

利用监控指标实现故障报警

Node-Problem-Detector 指标介绍

Node-Problem-Detector 暴露 Prometheus 指标如下：

指标中包含的 LabelSet 如下：

1. instance: 故障节点
2. namespace: npd 实例部署的 namespace
3. type：故障类型，对应 Node Condition Type
4. reason：故障原因，对应 Node Condition Reason
5. region：节点所在地域

用户可根据需要基于以上指标配置 Prometheus 监控和告警；

在 CProm 中添加对 Node-Problem-Detector 的指标采集任务

在 CProm 中添加对 Node-Problem-Detector 的指标采集规则之前，需要先为 CCE 集群关联 CProm 实例，并添加指标采集任务。 操作参考：

1. CProm 实例关联 CCE 集群
2. CProm 实例中添加采集任务

添加如下指标采集任务：

1job_name: node-problem-detector
2scrape_interval: 3s
3kubernetes_sd_configs:
4  - role: endpoints
5
6relabel_configs:
7  - source_labels: [ __meta_kubernetes_service_annotation_npd_prometheus_scrape ]
8    action: keep
9    regex: true
10  - source_labels: [ __meta_kubernetes_service_annotation_npd_prometheus_scheme ]
11    action: replace
12    target_label: __scheme__
13    regex: (https?)
14  - source_labels: [ __meta_kubernetes_service_annotation_npd_prometheus_path ]
15    action: replace
16    target_label: __metrics_path__
17    regex: (.+)
18  - source_labels: [ __address__, __meta_kubernetes_service_annotation_npd_prometheus_port ]
19    action: replace
20    target_label: __address__
21    regex: ([^:]+)(?::\d+)?;(\d+)
22    replacement: $1:$2
23  - source_labels: [ __meta_kubernetes_endpoint_node_name ]
24    action: replace
25    target_label: node
26  - source_labels: [ __meta_kubernetes_namespace ]
27    action: replace
28    target_label: namespace
29  - source_labels: [ __meta_kubernetes_service_name ]
30    action: replace
31    target_label: service
32  - source_labels: [ __meta_kubernetes_pod_name ]
33    action: replace
34    target_label: pod

版本记录