Users Guide

vi AH0054602-00 M
User’s Guide—Converged Network Adapters
41xxx Series
Injecting (Slipstreaming) Adapter Drivers into Windows
Image Files. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
Configuring FCoE Boot from SAN on Linux . . . . . . . . . . . . . . . . . . . . 122
Prerequisites for Linux FCoE Boot from SAN. . . . . . . . . . . . . . . 122
Configuring Linux FCoE Boot from SAN . . . . . . . . . . . . . . . . . . 123
Configuring FCoE Boot from SAN on VMware . . . . . . . . . . . . . . . . . . 123
Injecting (Slipstreaming) ESXi Adapter Drivers into Image Files 123
Installing the Customized ESXi ISO . . . . . . . . . . . . . . . . . . . . . . 124
7 RoCE Configuration
Supported Operating Systems and OFED . . . . . . . . . . . . . . . . . . . . . . . . . . 127
Planning for RoCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Preparing the Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Preparing the Ethernet Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Configuring the Cisco Nexus 6000 Ethernet Switch . . . . . . . . . . . . . . 129
Configuring the Dell Z9100 Ethernet Switch for RoCE . . . . . . . . . . . . 131
Configuring RoCE on the Adapter for Windows Server . . . . . . . . . . . . . . . . 133
Viewing RDMA Counters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
Configuring RoCE for SR-IOV VF Devices (VF RDMA) . . . . . . . . . . . 141
Configuration Instructions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Configuring RoCE on the Adapter for Linux . . . . . . . . . . . . . . . . . . . . . . . . . 150
RoCE Configuration for RHEL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
RoCE Configuration for SLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Verifying the RoCE Configuration on Linux . . . . . . . . . . . . . . . . . . . . . 152
vLAN Interfaces and GID Index Values . . . . . . . . . . . . . . . . . . . . . . . . 154
RoCE v2 Configuration for Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Identifying the RoCE v2 GID Index or Address . . . . . . . . . . . . . 155
Verifying the RoCE v1 or RoCE v2 GID Index and Address
from sys and class Parameters . . . . . . . . . . . . . . . . . . . . . . . . 156
Verifying the RoCE v1 or RoCE v2 Function Through
perftest Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
Configuring RoCE for SR-IOV VF Devices (VF RDMA) . . . . . . . . . . . 160
Enumerating VFs for L2 and RDMA . . . . . . . . . . . . . . . . . . . . . . 161
Number of VFs Supported for RDMA . . . . . . . . . . . . . . . . . . . . . 163
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Configuring RoCE on the Adapter for VMware ESX . . . . . . . . . . . . . . . . . . 164
Configuring RDMA Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Configuring MTU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166