User Manual
Rev 2.1-1.0.6
Mellanox Technologies
7
8.6.5 Examples of Advanced Policy File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
8.6.6 Simple QoS Policy - Details and Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
8.6.7 SL2VL Mapping and VL Arbitration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
8.6.8 Deployment Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
8.7 QoS Configuration Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.7.1 Typical HPC Example: MPI and Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.7.2 EDC SOA (2-tier): IPoIB and SRP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.7.3 EDC (3-tier): IPoIB, RDS, SRP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
8.8 Adaptive Routing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8.8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8.8.2 Installing the Adaptive Routing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
8.8.3 Running Subnet Manager with Adaptive Routing Manager . . . . . . . . . . . . . . . 181
8.8.4 Querying Adaptive Routing Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.8.5 Adaptive Routing Manager Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.9 Congestion Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
8.9.1 Congestion Control Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
8.9.2 Running OpenSM with Congestion Control Manager . . . . . . . . . . . . . . . . . . . . 185
8.9.3 Configuring Congestion Control Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
8.9.4 Configuring Congestion Control Manager Main Settings . . . . . . . . . . . . . . . . . 186
Chapter 9 InfiniBand Fabric Diagnostic Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
9.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
9.2 Utilities Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
9.2.1 Common Configuration, Interface and Addressing . . . . . . . . . . . . . . . . . . . . . . 189
9.2.2 InfiniBand Interface Definition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
9.2.3 Addressing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
9.3 ibdiagnet (of ibutils2) - IB Net Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
9.4 ibdiagnet (of ibutils) - IB Net Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
9.5 ibdiagpath - IB diagnostic path . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
9.6 ibv_devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
9.7 ibv_devinfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
9.8 ibdev2netdev . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
9.9 ibstatus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
9.10 ibportstate. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.11 ibroute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
9.12 smpquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
9.13 perfquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
9.14 ibcheckerrs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
9.15 mstflint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
9.16 ibv_asyncwatch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
9.17 ibdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
Appendix A Mellanox FlexBoot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223
A.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
A.2 FlexBoot Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
A.3 Burning the Expansion ROM Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223