User Manual

Rev 4.70
Mellanox Technologies
5
Chapter 9 Booting Windows from an iSCSI Target. . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
9.1 Configuring the WDS, DHCP and iSCSI Servers . . . . . . . . . . . . . . . . . . . . . . . . 77
9.1.1 Configuring the WDS Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
9.1.2 Configuring iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
9.1.3 Configuring the DHCP Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
9.2 Configuring the Client Machine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
9.3 Installing iSCSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Chapter 10 Deploying Windows Server 2012 and Above with SMB Direct. . . . . . . . . . 80
10.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
10.2 Hardware and Software Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
10.3 SMB Configuration Verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
10.3.1 Verifying Network Adapter Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
10.3.2 Verifying SMB Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
10.3.3 Verifying SMB Connection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
10.4 Verifying SMB Events that Confirm RDMA Connection. . . . . . . . . . . . . . . . . . 82
Chapter 11 Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
11.1 General Performance Optimization and Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 83
11.1.1 Registry Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
11.1.2 Enable RSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
11.1.3 Tuning the IPoIB Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
11.1.4 Tuning the Ethernet Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
11.1.5 SR-IOV Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
11.1.6 Improving Live Migration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
11.2 Application Specific Optimization and Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . 89
11.2.1 Ethernet Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
11.2.2 IPoIB Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
11.3 Tunable Performance Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
11.4 Adapter Proprietary Performance Counters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
11.4.1 Supported Standard Performance Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Chapter 12 OpenSM - Subnet Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Chapter 13 Software Development Kit (SDK) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Chapter 14 InfiniBand Fabric Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
14.1 Network Direct Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
14.2 part_man - Virtual IPoIB Port Creation Utility . . . . . . . . . . . . . . . . . . . . . . . . . 100
14.3 InfiniBand Fabric Diagnostic Utilities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
14.3.1 Utilities Usage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
14.3.2 ibdiagnet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
14.3.3 ibportstate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
14.3.4 ibroute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
14.3.5 ibdump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
14.3.6 smpquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
14.3.7 perfquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
14.3.8 ibping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
14.3.9 ibnetdiscover . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118