User Manual

Rev 4.60
Mellanox Technologies
3
Table of Contents
Document Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
About this Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Documentation Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
Common Abbreviations and Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Chapter 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Chapter 2 Firmware Upgrade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1 Downloading Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Downloading Mellanox Firmware Tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 Upgrading Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.1 Upgrading Firmware Manually. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Chapter 3 Driver Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1 Hyper-V with VMQ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2 Header Data Split. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3 Receive Side Scaling (RSS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.4 Port Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.4.1 Auto Sensing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.4.2 Port Protocol Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.5 Load Balancing, Fail-Over (LBFO) and VLAN . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.5.1 Adapter Teaming. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.5.2 Creating a Load Balancing and Fail-Over (LBFO) Bundle . . . . . . . . . . . . . . . . . 21
3.5.3 Creating a Port VLAN in Windows 2008 R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.5.4 Removing a Port VLAN in Windows 2008 R2 . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5.5 Configuring a Port to Work with VLAN in Windows 2012 and Above . . . . . . . 28
3.6 Ports TX Arbitration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.7 RDMA over Converged Ethernet (RoCE). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.7.1 RoCE Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.7.2 RoCE Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.7.3 Configuring SwitchX® Based Switch System . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.7.4 Configuring Router (PFC only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.7.5 Configuring the RoCE Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.8 Network Virtualization using Generic Routing Encapsulation . . . . . . . . . . . . . . 32
3.8.1 Configuring the NVGRE using the User Interface . . . . . . . . . . . . . . . . . . . . . . . . 33
3.8.2 Configuring the NVGRE using PowerShell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.9 Differentiated Services Code Point (DSCP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.9.1 Setting the DSCP in the IP Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.9.2 Configuring Quality of Service for TCP and RDMA Traffic . . . . . . . . . . . . . . . . 35
3.9.3 Configuring DSCP for TCP Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.9.4 Configuring DSCP for RDMA Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.9.5 Registry Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36