Users Guide

RoCE - 配置和使用案例示例 NetXtreme-E 用户手册
2018 2 26 • NetXtreme-E-UG100 68
为防止加载不匹配的 bnxt_en bnxt_re 组合,需要如下操作:
如果已使用带
bnxt_en DUD 或内核模块 RPM PXEboot RedHat/CentOS 7.2 操作系统安装到目标系统
中,请删除
/lib/modules/$(uname‐r)/extra/bnxt_en/bnxt_en.ko 中的 bnxt_en.ko 文件或编辑 /etc/
depmod.d/.
Bnxt_en.conf 进行覆写,以使用更新的版本。用户还可以使用 rpm -e kmod-bnxt_en 命令清除当前的
BCM5741X Linux 内核驱动程序。RHEL 7.3/SLES 12 Sp2 内置 bnxt_en 驱动程序(v1.7.x 之前的版本)。
必须移除此驱动程序并添加最新 bnxt_en,才可应用 bnxt_reRoCE 驱动程序)。
Windows
内核模式
如果为 RDMA 启用了两端,则 Windows Server 2012 及更新版本将为 SMB 文件通信量调用 NIC 中的 RDMA
功能。Broadcom NDIS 微型端口 bnxtnd.sys v20.6.2 更新版本通过 NDKPI 接口支 RoCEv1 RoCEv2
默认设置为 RoCEv1
要启用 RDMA
1. 使用适当的板程序包升级 NIC NVRAM。在 CCM UEFI HII 中,启用对 RDMA 的支持。
2. 转至适配器高级属性页面,然后将每个 BCM5741X 微型端口的 NetworkDirect 功能设置为已启用,或者使
PowerShell 窗口,运行以下命令:
SetNetAdapterAdvancedProperty‐RegistryKeyword*NetworkDirect‐RegistryValue1
3. 如果 NetworkDriect 已启用,则以下 PowerShell 命令将返回 true
a. GetNetOffLoadGlobalSetting
b. GetNetAdapterRDMA
验证 RDMA
要验证 RDMA
1. 在远程系统上创建文件共享,然后使用 Windows 资源管理器或“net use ….”打开该共享。为避免硬盘读取/
写入速度出现瓶颈,建议将 RAM 盘作为正在进行测试的网络共享。
2. PowerShell 中,运行以下命令:
GetSmbMultichannelConnection|fl*RDMA*
ClientRdmaCapable:True
ServerRdmaCapable:True
如果客户机和服务器都显示 True,则任何文件都通过使用 SMB 的此 SMB 连接进行传输。
3. 可以使用以下命令启用/禁用 SMB Multichannel
服务器端:
启用:Set-SmbServerConfiguration -EnableMultiChannel $true
禁用:Set-SmbServerConfiguration -EnableMultiChannel $false