User Manual

Rev 4.70
Mellanox Technologies
4
8.5.3 Creating a Port VLAN in Windows 2008 R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
8.5.4 Removing a Port VLAN in Windows 2008 R2 . . . . . . . . . . . . . . . . . . . . . . . . . . 46
8.5.5 Configuring a Port to Work with VLAN in Windows 2012 and Above . . . . . . . 47
8.6 Ports TX Arbitration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
8.7 RDMA over Converged Ethernet (RoCE). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
8.7.1 RoCE Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
8.7.2 RoCE Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
8.7.3 Configuring SwitchX® Based Switch System . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
8.7.4 Configuring Arista Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
8.7.5 Configuring Router (PFC only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
8.7.6 Configuring the RoCE Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
8.8 Network Virtualization using Generic Routing Encapsulation . . . . . . . . . . . . . . 52
8.8.1 Enabling/Disabling NVGRE Offloading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
8.8.2 Configuring the NVGRE using PowerShell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
8.8.3 Verifying the Encapsulation of the Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
8.8.4 Removing NVGRE configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
8.9 Differentiated Services Code Point (DSCP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
8.9.1 Setting the DSCP in the IP Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
8.9.2 Configuring Quality of Service for TCP and RDMA Traffic . . . . . . . . . . . . . . . . 56
8.9.3 Configuring DSCP for TCP Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
8.9.4 Configuring DSCP for RDMA Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
8.9.5 Registry Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
8.9.6 DSCP Sanity Testing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
8.10 SR-IOV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
8.10.1 System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
8.10.2 SR-IOV Feature Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
8.10.3 Configuring SR-IOV Host Machine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
8.10.4 Configuring Mellanox Network Adapter for SR-IOV . . . . . . . . . . . . . . . . . . . . . 65
8.10.5 Configuring Virtual Machine Networking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
8.11 Virtual Ethernet Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
8.11.1 System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
8.11.2 VEA Feature Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
8.11.3 Adding a New Virtual Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
8.11.4 Removing a Virtual Ethernet Adapter. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
8.11.5 Querying the Virtual Ethernet Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
8.11.6 Help Message . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
8.12 IPoIB SR-IOV over KVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
8.13 Lossless TCP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
8.13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
8.13.2 Drop Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.13.3 Poll Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.13.4 Default behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.13.5 Known Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.13.6 System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.13.7 Enabling/Disabling Lossless TCP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.13.8 Monitoring Lossless TCP State. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76