Users Guide
7–RoCE 配置
在 Linux 的适配器上配置 RoCE
153 AH0054602-05 M
客户端 Ping:
root@lambodar:~# ibv_rc_pingpong -d qedr0 -g 0 192.168.10.165
local address: LID 0x0000, QPN 0xff0000, PSN 0x934d28, GID
fe80::20e:1eff:fe50:c570
remote address: LID 0x0000, QPN 0xff0000, PSN 0xb3e07e, GID
fe80::20e:1eff:fe50:c7c0
8192000 bytes in 0.02 seconds = 4211.28 Mbit/sec
1000 iters in 0.02 seconds = 15.56 usec/iter
要显示 RoCE 统计信息,请发出以下命令,其中 X 是设备号:
> mount -t debugfs nodev /sys/kernel/debug
> cat /sys/kernel/debug/qedr/qedrX/stats
vLAN 接口和 GID 索引值
如果您在服务器和客户端上均使用 vLAN 接口,还必须在交换机上配置相同的
vLAN ID。如果您是通过交换机运行流量,则 InfiniBand 应用程序必须使用正确的
GID 值,该值基于 vLAN ID 和 vLAN IP 地址。
根据以下结果,应该为任意 perftest 应用程序使用 GID 值 (-x 4/-x 5)。
# ibv_devinfo -d qedr0 -v|grep GID
GID[ 0]: fe80:0000:0000:0000:020e:1eff:fe50:c5b0
GID[ 1]: 0000:0000:0000:0000:0000:ffff:c0a8:0103
GID[ 2]: 2001:0db1:0000:0000:020e:1eff:fe50:c5b0
GID[ 3]: 2001:0db2:0000:0000:020e:1eff:fe50:c5b0
GID[ 4]: 0000:0000:0000:0000:0000:ffff:c0a8:0b03
vLAN 接口的 IP 地址
GID[ 5]: fe80:0000:0000:0000:020e:1e00:0350:c5b0 vLAN ID 3
Linux 的 RoCE v2 配置
要验证 RoCE v2 功能,必须使用 RoCE v2 支持的内核。
为 Linux 配置 RoCE v2:
1. 请确保您使用以下支持的内核之一:
SLES 15/15 SP1
注
背靠背或暂停设置的默认 GID 值为零 (0)。对于服务器和交换机配置,必须
确定合适的 GID 值。如果使用的是交换机,请参阅相应的交换机配置说明文
件以了解正确设置。