User Manual

Rev 2.2-1.0.1
Mellanox Technologies
7
8.5.5 LASH Routing Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8.5.6 DOR Routing Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.5.7 Torus-2QoS Routing Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.5.8 Routing Chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
8.6 Quality of Service Management in OpenSM. . . . . . . . . . . . . . . . . . . . . . . . . . . 198
8.6.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
8.6.2 Advanced QoS Policy File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
8.6.3 Simple QoS Policy Definition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
8.6.4 Policy File Syntax Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
8.6.5 Examples of Advanced Policy File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
8.6.6 Simple QoS Policy - Details and Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
8.6.7 SL2VL Mapping and VL Arbitration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
8.6.8 Deployment Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
8.7 QoS Configuration Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
8.7.1 Typical HPC Example: MPI and Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
8.7.2 EDC SOA (2-tier): IPoIB and SRP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
8.7.3 EDC (3-tier): IPoIB, RDS, SRP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
8.8 Adaptive Routing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
8.8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
8.8.2 Installing the Adaptive Routing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
8.8.3 Running Subnet Manager with Adaptive Routing Manager . . . . . . . . . . . . . . . 211
8.8.4 Querying Adaptive Routing Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
8.8.5 Adaptive Routing Manager Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
8.9 Congestion Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
8.9.1 Congestion Control Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
8.9.2 Running OpenSM with Congestion Control Manager . . . . . . . . . . . . . . . . . . . . 216
8.9.3 Configuring Congestion Control Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
8.9.4 Configuring Congestion Control Manager Main Settings . . . . . . . . . . . . . . . . . 217
Chapter 9 InfiniBand Fabric Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.1 Common Configuration, Interface and Addressing. . . . . . . . . . . . . . . . . . . . . . 220
9.2 InfiniBand Interface Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.3 Addressing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.4 Diagnostic Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
9.4.1 ibdiagnet (of ibutils2) - IB Net Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
9.4.2 ibdiagnet (of ibutils) - IB Net Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
9.4.3 ibdiagpath - IB Diagnostic Path . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
9.4.4 ibstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
9.4.5 ibtracert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
9.4.6 ibqueryerrors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
9.4.7 iblinkinfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
9.4.8 saquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
9.4.9 smpdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
9.4.10 ibv_devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
9.4.11 ibv_devinfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
9.4.12 ibdev2netdev . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237