User Manual

Rev 4.60
Mellanox Technologies
4
3.9.6 DSCP Sanity Testing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Chapter 4 Deploying Windows Server 2012 and Above with SMB Direct. . . . . . . . . . 38
4.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2 Hardware and Software Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.3 SMB Configuration Verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.3.1 Verifying SMB Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.3.2 Verifying SMB Connection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.4 Verifying SMB Events that Confirm RDMA Connection . . . . . . . . . . . . . . . . . 39
Chapter 5 Driver Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.1 Configuring the InfiniBand Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.1.1 Modifying IPoIB Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.1.2 Displaying Adapter Related Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.2 Configuring the Ethernet Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.3 Configuring Quality of Service (QoS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Chapter 6 Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.1 General Performance Optimization and Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.1.1 Registry Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.1.2 Enable RSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.1.3 Tuning the IPoIB Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.1.4 Tuning the Ethernet Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
6.2 Application Specific Optimization and Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . 50
6.2.1 Ethernet Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
6.2.2 IPoIB Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.3 Tunable Performance Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.4 Adapter Proprietary Performance Counters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6.4.1 Supported Standard Performance Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Chapter 7 OpenSM - Subnet Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Chapter 8 InfiniBand Fabric . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
8.1 Network Direct Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
8.2 part_man - Virtual IPoIB Port Creation Utility . . . . . . . . . . . . . . . . . . . . . . . . . . 61
8.3 InfiniBand Fabric Diagnostic Utilities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
8.3.1 Utilities Usage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
8.3.2 ibdiagnet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
8.3.3 ibportstate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
8.3.4 ibroute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
8.3.5 ibdump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
8.3.6 smpquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
8.3.7 perfquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8.3.8 ibping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
8.3.9 ibnetdiscover . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
8.3.10 ibtracert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
8.3.11 sminfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
8.3.12 ibclearerrors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
8.3.13 ibstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86