User Manual

Rev 2.0-3.0.0

Mellanox Technologies

List of Tables

Table 1: Document Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Table 2: Abbreviations and Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

Table 3: Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

Table 4: Reference Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Table 5: Software and Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Table 6: mlnxofedinstall Return Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

Table 7: Buffer Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Table 8: Parameters Used to Control Error Cases / Contiguity . . . . . . . . . . . . . . . . . . . . . . . . . . .75

Table 9: Flow Specific Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79

Table 10: ethtool Supported Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Table 11: Useful MPI Links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

Table 12: Runtime Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105

Table 13: Recommended PCIe Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .110

Table 14: Recommended BIOS Settings for Intel Sandy Bridge Processors . . . . . . . . . . . . . . . . .111

Table 15: Recommended BIOS Settings for Intel® Nehalem/Westmere Processors . . . . . . . . . . 112

Table 16: Recommended BIOS Settings for AMD Processors . . . . . . . . . . . . . . . . . . . . . . . . . . .112

Table 17: Adaptive Routing Manager Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

Table 18: Adaptive Routing Manager Pre-Switch Options File . . . . . . . . . . . . . . . . . . . . . . . . . . .166

Table 19: Congestion Control Manager General Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . .169

Table 20: Congestion Control Manager Switch Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . .169

Table 21: Congestion Control Manager CA Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .169

Table 22: Congestion Control Manager CC MGR Options File . . . . . . . . . . . . . . . . . . . . . . . . . . 170

Table 23: ibdiagnet (of ibutils2) Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .175

Table 24: ibdiagnet (of ibutils) Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

Table 25: ibdiagpath Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

Table 26: ibv_devinfo Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

Table 27: ibstatus Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

Table 28: ibportstate Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .185

Table 29: ibportstate Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .189

Table 30: smpquery Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

Table 31: perfquery Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .195

Table 32: ibcheckerrs Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .197

Table 33: mstflint Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .199

Table 34: mstflint Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201