Extinderea infrastructurilor de inteligență artificială dincolo de limitele unui singur centru de date aduce noi provocări pentru rețelele de comunicații. Un studiu realizat de Broadcom arată că capacitatea de stocare temporară a bufferelor de rețea, și nu distanța dintre centrele de date în sine, reprezintă un factor esențial pentru menținerea performanței clusterelor AI distribuite.
Pe măsură ce modelele de inteligență artificială devin tot mai complexe, infrastructurile necesare antrenării acestora depășesc capacitatea unui singur centru de date. Clusterele de GPU-uri sunt distribuite între mai multe clădiri, campusuri sau chiar regiuni geografice, ceea ce pune o presiune suplimentară asupra rețelelor de comunicații.
În acest context, mecanismele tradiționale de control al congestiei, concepute pentru rețelele interne ale centrelor de date, devin mai puțin eficiente. Distanțele mai mari implică întârzieri de transmisie semnificativ crescute. Fibra optică adaugă aproximativ 100 de microsecunde la timpul dus-întors pentru fiecare 10 kilometri, iar întârzierile pot ajunge astfel la câteva sute de microsecunde.
Problema este amplificată de pierderea pachetelor de date. În cazul sarcinilor de antrenare AI, un singur pachet pierdut poate provoca retransmisii și poate întârzia semnificativ finalizarea unui întreg proces.
Rolul esențial al bufferelor
Pentru a identifica soluțiile necesare, Broadcom a realizat o simulare complexă privind dimensionarea bufferelor în rețelele interconectate dintre centrele de date. Cercetarea a analizat legături de 10, 30 și 100 de kilometri, două protocoale de control al congestiei și dimensiuni ale mesajelor cuprinse între 50 și 500 MB.
Obiectivul a fost identificarea capacității optime a bufferelor, exprimată ca multiplu al produsului dintre lățimea de bandă și întârziere (Bandwidth-Delay Product – BDP).
Rezultatul principal a fost constant în toate scenariile analizate: un buffer dimensionat la cel puțin 1,5×BDP menține timpul de finalizare a transferurilor aproape de nivelul ideal și elimină retransmisiile.
Mai mult, pragul a fost confirmat indiferent de distanța dintre centrele de date, dimensiunea mesajelor sau protocolul utilizat.
Cum a fost realizată testarea
Simulările au urmărit să izoleze efectul dimensiunii bufferelor asupra performanței rețelei. Broadcom a utilizat trafic între două centre de date, printr-o legătură interurbană cu suprasubscriere de 2:1.
Acest raport înseamnă că legătura dintre centrele de date poate transporta doar jumătate din rata maximă pe care portul expeditorului o poate genera. Astfel, cererea depășește în mod intenționat capacitatea disponibilă, producând congestie.
Dimensiunea bufferelor a fost testată în intervalul 3×BDP – 0,005×BDP, pentru fiecare dintre cele trei distanțe. Au fost analizate protocoalele NSCC, standardul implicit UEC, și RCCC, dezvoltat de Broadcom, utilizând atât parametrii impliciți, cât și configurații optimizate.
Pragul de 1,5×BDP schimbă regulile performanței
Datele obținute indică faptul că dimensionarea bufferelor la minimum 1,5×BDP menține timpul de finalizare a transferurilor (Flow Completion Time – FCT) la doar câteva procente peste valoarea ideală și reduce rata retransmisiilor la zero.
La un debit de comutare de 100T, această valoare corespunde unor capacități de aproximativ 1,9 GB pentru 10 kilometri, 5,6 GB pentru 30 de kilometri și 18,8 GB pentru 100 de kilometri.
Sub acest prag, performanța se degradează rapid. Retransmisiile cresc primele, urmate de prelungirea timpului necesar finalizării transferurilor. De exemplu, pentru un mesaj de 50 MB, la 10 kilometri și cu protocolul NSCC, un buffer de numai 0,1×BDP a generat o rată a retransmisiilor de 55,1%, iar timpul de finalizare a fost afectat cu 31,5% față de valoarea ideală.
Testele suplimentare, realizate pentru mesaje între 50 și 500 MB, au confirmat stabilitatea rezultatului. La pragul de 1,5×BDP, rata retransmisiilor a rămas zero pentru toate dimensiunile analizate.
Implicații pentru viitoarele infrastructuri AI
Studiul s-a concentrat pe traficul dintre două centre de date, fără a include scenarii de tip fan-in, caracteristice operațiunilor colective AI, în care mai mulți expeditori transmit simultan către aceeași destinație. Aceste situații necesită cercetări suplimentare, deoarece pot amplifica presiunea asupra bufferelor.
Pentru infrastructurile AI distribuite pe distanțe de peste 10 kilometri, bufferizarea profundă devine o condiție esențială pentru performanță și fiabilitate.
În practică, soluția presupune o arhitectură hibridă, care combină buffere rapide și de dimensiuni reduse, integrate pe cip, cu capacități suplimentare de buffering în memoria HBM. Această abordare oferă protecție împotriva congestiei și reduce riscul retransmisiilor costisitoare.
Broadcom propune implementarea acestei arhitecturi prin switch-urile Jericho, care asigură buffering pe două niveluri, și plăcile de rețea Thor NIC, responsabile de gestionarea avansată a congestiei la nivelul echipamentelor terminale.
Pe măsură ce infrastructurile AI evoluează către implementări multi-site de ordinul gigawaților, dimensionarea corectă a bufferelor devine un element fundamental. Pragul de 1,5×BDP oferă arhitecților de rețea o regulă practică pentru construirea unor sisteme capabile să susțină antrenarea modelelor AI la scară tot mai mare.
SolvIT Networks este partener strategic pentru Europa Centrală și de Est al Broadcom.
