User Manual

Rev 2.0-3.0.0
Mellanox Technologies
7
8.9 Congestion Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.9.1 Congestion Control Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.9.2 Running OpenSM with Congestion Control Manager . . . . . . . . . . . . . . . . . . . . 167
8.9.3 Configuring Congestion Control Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.9.4 Configuring Congestion Control Manager Main Settings . . . . . . . . . . . . . . . . . 168
Chapter 9 InfiniBand Fabric Diagnostic Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
9.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
9.2 Utilities Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
9.2.1 Common Configuration, Interface and Addressing . . . . . . . . . . . . . . . . . . . . . . 171
9.2.2 InfiniBand Interface Definition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
9.2.3 Addressing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
9.3 ibdiagnet (of ibutils2) - IB Net Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
9.4 ibdiagnet (of ibutils) - IB Net Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
9.5 ibdiagpath - IB diagnostic path . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
9.6 ibv_devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.7 ibv_devinfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.8 ibdev2netdev . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
9.9 ibstatus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
9.10 ibportstate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
9.11 ibroute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
9.12 smpquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
9.13 perfquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
9.14 ibcheckerrs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
9.15 mstflint. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
9.16 ibv_asyncwatch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.17 ibdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Appendix A Mellanox FlexBoot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205
A.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
A.2 Burning the Expansion ROM Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
A.3 Preparing the DHCP Server in Linux Environment . . . . . . . . . . . . . . . . . . . 206
A.4 Subnet Manager – OpenSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
A.5 TFTP Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
A.6 BIOS Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
A.7 Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
A.8 Command Line Interface (CLI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
A.9 Diskless Machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
A.10 iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
A.11 WinPE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Appendix B SRP Target Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .219
B.1 Prerequisites and Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
B.2 How-to Run . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
B.3 How-to Unload/Shutdown . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Appendix C mlx4 Module Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223