User Manual

Rev 2.2-1.0.1

Mellanox Technologies

List of Tables

Table 1: Document Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

Table 2: Abbreviations and Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

Table 3: Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

Table 4: Reference Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

Table 5: Software and Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34

Table 6: mlnxofedinstall Return Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38

Table 7: mlx4_vnic.conf file format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63

Table 8: Red Hat Linux mlx4_vnic.conf file format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .64

Table 9: Buffer Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105

Table 10: Parameters Used to Control Error Cases / Contiguity . . . . . . . . . . . . . . . . . . . . . . . . . .106

Table 11: Flow Specific Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .110

Table 12: ethtool Supported Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133

Table 13: Port IN Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .136

Table 14: Port OUT Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .137

Table 15: Port VLAN Priority Tagging (where <i> is in the range 0…7) . . . . . . . . . . . . . . . . . . .138

Table 16: Port Pause (where <i> is in the range 0…7) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .138

Table 17: VPort Statistics (where <i>=<empty_string> is the PF, and ranges 1…NumOfVf per VF) 139

Table 18: SW Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .140

Table 19: Per Ring (SW) Statistics (where <i> is the ring I – per configuration) . . . . . . . . . . . . .140

Table 20: Useful MPI Links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .146

Table 21: MLNX_OFED and MXM Versions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .149

Table 22: Runtime Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .155

Table 23: Port Group Qualifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .191

Table 24: Port Group Qualifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .192

Table 25: Topology Qualifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .195

Table 26: Routing Engine Qualifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .196

Table 27: Adaptive Routing Manager Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .214

Table 28: Adaptive Routing Manager Pre-Switch Options File . . . . . . . . . . . . . . . . . . . . . . . . . . .215

Table 29: Congestion Control Manager General Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . .218

Table 30: Congestion Control Manager Switch Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . .218

Table 31: Congestion Control Manager CA Options File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .218

Table 32: Congestion Control Manager CC MGR Options File . . . . . . . . . . . . . . . . . . . . . . . . . .219

Table 33: ibdiagnet (of ibutils2) Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223

Table 34: ibdiagpath Output Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .226

Table 35: ibstat Flags and Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227