User Manual

Rev 2.0-3.0.0
Mellanox Technologies
6
7.2.3 Preserving Your Performance Settings after a Reboot . . . . . . . . . . . . . . . . . . . . 114
7.2.4 Tuning Power Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
7.2.5 Interrupt Moderation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
7.2.6 Tuning for NUMA Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
7.2.7 IRQ Affinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
7.2.8 Tuning Multi-Threaded IP Forwarding. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
Chapter 8 OpenSM – Subnet Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
8.2 opensm Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
8.2.1 opensm Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
8.2.2 Environment Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
8.2.3 Signaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
8.2.4 Running opensm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
8.3 osmtest Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
8.3.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
8.3.2 Running osmtest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
8.4 Partitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
8.4.1 File Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
8.5 Routing Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
8.5.1 Effect of Topology Changes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
8.5.2 Min Hop Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
8.5.3 UPDN Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
8.5.4 Fat-tree Routing Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
8.5.5 LASH Routing Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8.5.6 DOR Routing Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
8.5.7 Torus-2QoS Routing Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
8.6 Quality of Service Management in OpenSM. . . . . . . . . . . . . . . . . . . . . . . . . . . 150
8.6.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
8.6.2 Advanced QoS Policy File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
8.6.3 Simple QoS Policy Definition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
8.6.4 Policy File Syntax Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
8.6.5 Examples of Advanced Policy File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
8.6.6 Simple QoS Policy - Details and Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
8.6.7 SL2VL Mapping and VL Arbitration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
8.6.8 Deployment Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
8.7 QoS Configuration Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.7.1 Typical HPC Example: MPI and Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.7.2 EDC SOA (2-tier): IPoIB and SRP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
8.7.3 EDC (3-tier): IPoIB, RDS, SRP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.8 Adaptive Routing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8.8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8.8.2 Installing the Adaptive Routing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
8.8.3 Running Subnet Manager with Adaptive Routing Manager . . . . . . . . . . . . . . . 163
8.8.4 Querying Adaptive Routing Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
8.8.5 Adaptive Routing Manager Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164