如何检测RDMA常见故障

在GPU云服务器使用过程中可能会出现RDMA硬件故障或者亚健康状态，如果您发现应用程序出现报错或者RDMA硬件性能下降，可通过以下检测方法检测是否存在故障，发现故障后，可通过重启实例等方式修复，如果问题持续发生，请您提交工单。

网卡状态检测

您可通过以下检测方法，判断当前实例是否存在网卡状态故障。

检测步骤

1. 登录实例。
2. 查询所有RDMA网卡的接口状态，执行命令：

1ibdev2netdev |grep -v eth0

3. 查看是否有接口处于Down状态，如下eth2接口处于Down状态：

解决方法

• centos、rocky、baidulinux系统，请尝试使用如下命令恢复：

1bash /var/lib/cloud/scripts/per-boot/bcc_elastic_net_centos_cloudinit.sh

• ubuntu系统，请尝试使用如下命令恢复：

1bash /var/lib/cloud/scripts/per-boot/bcc_elastic_net_ubuntu_cloudinit.sh

如果运行命令后没有恢复，请提交工单。

网卡抖动检测

您可通过以下检测方法，判断当前实例是否存在网卡抖动。

检测步骤

1. 登录实例。
2. 查询所有RDMA网卡的接口名称，执行命令：

1show_gids |grep v2|awk '{print $7}'|sed '/^$/d'|grep -v eth0

3. 依次查询每个RDMA网卡Link down的次数，执行命令：

1dmesg -T | grep -i eth|grep -i link|grep -i down|wc -l
2journalctl --since `date -d "10 days ago" "+%Y-%m-%d"`| grep -i eth|grep -i link|grep -i down|wc -l

4. 次数大于阀值8，说明网卡抖动。

解决方法

请提交工单。

网卡配置检测

您可依次检测以下几项，判断当前实例是否存在网卡配置故障。

mtu检测

检测步骤

1. 登录实例。
2. 查询所有RDMA网卡的接口名称，执行命令：

1show_gids |grep v2|awk '{print $7}'|sed '/^$/d'|grep -v eth0

3. 依次查询每个RDMA网卡的mtu，执行命令：

1ip -4 -j -p addr show dev ${ifname}|grep mtu

4. mtu值不等于预期值。

解决方法

请提交工单。

ip地址检测

检测步骤

1. 登录实例。
2. 查询所有RDMA网卡的接口名称，执行命令：

1show_gids |grep v2|awk '{print $7}'|sed '/^$/d'|grep -v eth0

3. 依次查询每个RDMA网卡的IP地址，执行命令：

1ip -4 -j -p addr show dev ${ifname}|grep local

4. 如果输出没有结果。

解决方法

请提交工单。