Broadcom BCM57508 NetXtreme

Jan 30, 2024

A volte vuoi solo andare veloce. Broadcom BCM57508 NetXtreme-E è un adattatore OCP NIC 3.0 da 200 GbE. Ci è stato detto che si trattava di un adattatore da 100 GbE ma in seguito abbiamo scoperto che in realtà era una versione da 200 GbE, quindi abbiamo pensato che valesse la pena mostrarlo ai nostri lettori.

Ecco la scheda NIC Broadcom BCM57508 NetXtreme-E. Una delle maggiori tendenze nei server è l'uso del fattore di forma OCP NIC 3.0 nei server. Anni fa, avevamo un formato mezzanino diverso per quasi ogni fornitore di server. Ora disponiamo del fattore di forma OCP NIC 3.0 utilizzato non solo dagli hyper-scaler, ma anche dai fornitori di server tradizionali.

Sul retro della scheda abbiamo due porte QSFP56. Questi consentono comunicazioni a velocità più elevata rispetto alle porte QSFP28 da 100 GbE che abbiamo visto.

La Broadcom BCM57508 è una delle schede PCIe Gen4 x16 dell'azienda. Per le connessioni doppie da 200 GbE, sarebbe necessario PCIe Gen5 x16 per avere la larghezza di banda dell'host per gestire due porte da 200 Gbps.

Ecco una rapida occhiata al dissipatore di calore. Queste schede e le versioni PCIe registrano un consumo energetico tipico inferiore a 20 W. Una delle maggiori sfide per le DPU in questi fattori di forma è il consumo energetico e il raffreddamento delle schede OCP NIC 3.0 che hanno un TDP più elevato.

Ecco una vista laterale della carta.

Ecco l'altro lato.

Detto questo, diamo un'occhiata a come appare la scheda NIC installata.

Anche se durante la recensione del Supermicro SYS-221H-TNR ci è stato detto che si trattava di un adattatore da 100GbE, questo è ciò che abbiamo visto quando è stato installato su Ubuntu:

Controllando ethtool, abbiamo visto 200000baseCR4/Full o 200Gbps full duplex.

Abbiamo un adattatore con capacità 200GbE che possiamo testare.

Una delle sfide è che mentre disponiamo di un sacco di dispositivi da 100 GbE e avremo molti dispositivi da 400 GbE, dal lato 200 GbE abbiamo meno infrastrutture. Avevamo lo switch QSFP28-DD nel Dell EMC S5248F-ON ma non era QSFP56.

Alla fine abbiamo installato componenti ottici su ciascuna estremità e alla fine siamo riusciti a collegare lo switch alla scheda NIC, ma abbiamo dovuto utilizzare più nodi di test da 100 GbE per le sessioni iperf3. Con la copertura 400GbE nelle prossime settimane, avremo maggiori informazioni sulla complessità di alcuni cavi e connettori. Abbiamo speso qualcosa come $ 1000 per trovare DAC "economici" per connettere quattro nodi a uno switch con quel progetto

Tuttavia, ecco cosa abbiamo visto provando a creare un collegamento 1x 200GbE:

Abbiamo sicuramente ottenuto velocità ben superiori a 100 GbE, ma eravamo anche notevolmente al di sotto dei 200 Gbps. A queste velocità, dobbiamo fare molta più regolazione della scheda NIC per ottenere quel livello di prestazioni. Per i nostri risultati a 400GbE a breve, abbiamo dovuto fare molto di più di quanto stiamo facendo qui, quindi leggi questo mentre abbiamo verificato che è collegato e trasferisce velocità superiori a 100GbE, ma non è ottimizzato.

Ecco cosa abbiamo ottenuto provando due client 100GbE tramite il passaggio alla scheda NIC.

Probabilmente è più vicino a quello che ci saremmo aspettati.

Una breve nota qui è che dobbiamo eseguire qualcosa come DPDK o simile che non è stato configurato. L'utilizzo della CPU a velocità di 200 Gbps è una sfida.

Per quanto riguarda l'alimentazione, ci aspetteremmo che una versione PCIe di questa scheda abbia una potenza nominale di 16-20 W tipica con i DAC e di più con l'ottica.

In laboratorio tendiamo a utilizzare principalmente schede NVIDIA (Mellanox) ConnectX-5/ ConnectX-6 (e DPU BlueField-2) e anche la serie Intel E800. Tuttavia, Broadcom ha una solida quota di mercato NIC, quindi dovremmo coprirli più di quanto facciamo.

Si tratta più di un doppio adattatore da 100 GbE o di un singolo adattatore da 200 GbE. Il PCIe Gen4 x16 ci limita a non ottenere la doppia velocità 200GbE a un host tramite la scheda NIC.

Questi adattatori supportano RDMA e altre funzionalità, ma poiché ci sono così tante funzionalità che i nostri lettori cercano, suggeriremo alle persone di cercarle se sono interessate alle carte.

Speriamo che alla gente piaccia vedere questo tipo di carte non appena le incontriamo.