User Manual

Rev 2.1-1.0.6

Mellanox Technologies

List of Tables

Table 1: Document Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

Table 2: Abbreviations and Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

Table 3: Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

Table 4: Reference Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

Table 5: Software and Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26

Table 6: mlnxofedinstall Return Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

Table 7: Buffer Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85

Table 8: Parameters Used to Control Error Cases / Contiguity . . . . . . . . . . . . . . . . . . . . . . . . . . .86

Table 9: Flow Specific Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .90

Table 10: ethtool Supported Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105

Table 11: Port IN Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108

Table 12: Port OUT Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109

Table 13: Port VLAN Priority Tagging (where <i> is in the range 0…7) . . . . . . . . . . . . . . . . . . .110

Table 14: Port Pause (where <i> is in the range 0…7) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .110

Table 15: VPort Statistics (where <i>=<empty_string> is the PF, and ranges 1…NumOfVf per VF) 111

Table 16: SW Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .111

Table 17: Per Ring (SW) Statistics (where <i> is the ring I – per configuration) . . . . . . . . . . . . .112

Table 18: Useful MPI Links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .117

Table 19: Runtime Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .123

Table 20: Recommended PCIe Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .127

Table 21: Recommended BIOS Settings for Intel Sandy Bridge Processors . . . . . . . . . . . . . . . . .128

Table 22: Recommended BIOS Settings for Intel® Nehalem/Westmere Processors . . . . . . . . . .129

Table 23: Recommended BIOS Settings for AMD Processors . . . . . . . . . . . . . . . . . . . . . . . . . . .129

Table 24: Adaptive Routing Manager Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .183

Table 25: Adaptive Routing Manager Pre-Switch Options File . . . . . . . . . . . . . . . . . . . . . . . . . . .184

Table 26: Congestion Control Manager General Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . .187

Table 27: Congestion Control Manager Switch Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . .187

Table 28: Congestion Control Manager CA Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .187

Table 29: Congestion Control Manager CC MGR Options File . . . . . . . . . . . . . . . . . . . . . . . . . .188

Table 30: ibdiagnet (of ibutils2) Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .192

Table 31: ibdiagnet (of ibutils) Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .194

Table 32: ibdiagpath Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .197

Table 33: ibv_devinfo Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .198

Table 34: ibstatus Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .200

Table 35: ibportstate Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202