Wchodzi do serwerowni o trzeciej w nocy, bo kolejny trening dużego modelu AI „wywalił się” po 18 godzinach pracy. Nie z powodu błędu w kodzie, ale przez czas odpowiedzi między serwerami – klastry GPU zapchały sieć do granic możliwości. Wentylatory wyją, szafy są dociśnięte do limitu mocy, a w raportach z monitoringu czerwienią się ostrzeżenia o opóźnieniach i przepełnieniu buforów.
Dodano już dodatkowe przełączniki, upchnięto nowe kable DAC, skrócono ścieżki tam, gdzie się dało. Mimo to wykresy przepustowości sieci rozlewają się szerokim plateau: „więcej się nie da”. W roadmapie biznesowej stoją jak wół kolejne modele, większe, z większą liczbą parametrów. W kalendarzu – terminów tyle, że każdy dzień opóźnienia to realne pieniądze.
Na kolejnym spotkaniu strategii infrastruktury pada określenie: optyczne interkonekty. Tym razem nie jako futurystyczna ciekawostka z konferencji, ale jako realna pozycja w planie inwestycyjnym. Zespół nagle musi zrozumieć, czy fotonika może w praktyce uratować kolejne generacje serwerów AI, czy to tylko marketing.
Prosty wniosek z takich sytuacji jest jeden: klasyczna, elektryczna infrastruktura serwerowa zaczyna dobijać do twardych limitów fizycznych. Dokładanie kolejnych kabli miedzianych przynosi coraz mniejsze zyski, a koszt energii i chłodzenia rośnie szybciej niż przepustowość. Żeby kolejne generacje AI w ogóle miały sens, potrzebny jest inny paradygmat komunikacji między chipami, serwerami i szafami – i to właśnie tu wchodzi fotonika.
Źródło: Pexels | Autor: Brett Sayles
Podstawy fotoniki dla praktyków: o co w ogóle chodzi?
Światło zamiast elektronów – najprostsze porównanie
Klasyczna elektronika opiera się na przepływie ładunku elektrycznego przez przewodnik – zazwyczaj miedź. W łączach danych mamy do czynienia z sygnałem elektrycznym, który zmienia się w czasie i reprezentuje zera oraz jedynki. Im szybciej zmieniamy stan, tym większa przepustowość, ale też tym więcej strat i problemów fizycznych.
Fotonika to komunikacja, w której zamiast elektronów w przewodniku używa się fotonów – cząstek światła – poruszających się w światłowodzie lub specjalnych strukturach optycznych. Informacja jest zaszyta w różnych parametrach światła, np. w natężeniu, fazie czy długości fali. Z punktu widzenia inżyniera systemów: dane są wciąż danymi, ale medium i sposób przesyłu radykalnie się zmieniają.
W praktyce oznacza to, że część ścieżki „CPU/GPU → pamięć → sieć → inne serwery” przestaje być miedzianą trasą z sygnałem elektrycznym, a staje się optycznym torem transmisyjnym. Elektronika wciąż jest na końcach (chip, kontroler, MAC/PHY), ale „droga między nimi” przechodzi na światło.
Co faktycznie biegnie w światłowodzie: długość fali, modulacja, multipleksowanie
W światłowodzie nie płynie prąd, tylko mody prowadzone światła o określonej długości fali. Dla centrów danych najczęściej używa się długości fal w tzw. oknach telekomunikacyjnych (np. 1310 nm, 1550 nm). Sygnał elektryczny z chipu jest zamieniany w sygnał optyczny przez modulator – element, który „rzeźbi” wiązkę światła zgodnie z tym, jak zmienia się sygnał cyfrowy.
Dane można upakować gęściej na kilka sposobów:
Modulacja amplitudy / fazy – zamiast prostego włącz/wyłącz (NRZ), stosuje się wielopoziomowe modulacje (np. PAM-4), aby w tym samym czasie przenieść więcej bitów.
Multipleksowanie fal (WDM) – w jednym włóknie równolegle biegnie kilka długości fal, każda niesie własny strumień danych. Z punktu widzenia sieci to tak, jakby w jednym kablu mieć kilka logicznych „kabli” równolegle.
Równoległe włókna – grupa włókien w jednej taśmie światłowodowej, każde jako osobny kanał.
W centrach danych ważne jest, że ta sama fizyczna przestrzeń (np. wiązka kilku cienkich włókien) może przenosić znacznie wyższą przepustowość niż wiązka kabli miedzianych, przy niższym zużyciu energii i ograniczonym nagrzewaniu.
Światłowód w WAN kontra optyczny interkonekt na 10 cm w serwerze
Dla wielu osób „światłowód” to przede wszystkim kabel między budynkami, miastami albo krajami. W takim zastosowaniu mówimy o kilometrach trasy, specjalnych wzmacniaczach optycznych, złączach zewnętrznych i dużych urządzeniach DWDM. Optyczny interkonekt w serwerze to zupełnie inna skala.
W serwerze lub racku odległości to rząd centymetrów do kilku metrów. Najczęściej nie ma wzmacniaczy optycznych, a optyka jest znacznie bliżej samego chipu. Ważniejsze są parametry takie jak:
gęstość wyprowadzeń z układu scalonego,
integracja z płytą główną lub opakowaniem chipu,
łatwość serwisowania i wymiany modułów,
kompatybilność z istniejącymi protokołami (Ethernet, InfiniBand, niestandardowe interfejsy GPU–GPU).
Z inżynierskiej perspektywy światłowód „w środku serwera” wymusza inny sposób myślenia o projektowaniu płyt, szaf i prowadzeniu kabli. Znika część ograniczeń elektrycznych, ale pojawiają się nowe wyzwania mechaniczne, optyczne i montażowe.
Fotonika nie jest magiczną technologią pozbawioną ograniczeń. Jej realna użyteczność w serwerach AI zależy od kilku kluczowych aspektów:
Dyfrakcja i geometria – długość fali światła używanego w telekomunikacji jest rzędu mikrometrów, podczas gdy struktury tranzystorów w układach CMOS schodzą w nanometry. To oznacza, że nie da się robić „optycznych tranzystorów” w tej samej skali, którą osiąga elektronika.
Integracja ze światem krzemu – trzeba w sposób efektywny osadzić na jednym podłożu elementy fotoniczne (modulatory, falowody, detektory) i standardową elektronikę CMOS. To wymaga specjalnych procesów produkcyjnych (silicon photonics).
Konwersje E/O i O/E – sygnał elektryczny z chipu musi zostać zamieniony na optyczny i odwrotnie. Każda z tych konwersji kosztuje energię, zajmuje miejsce i wprowadza opóźnienie.
Dlatego fotonika nie zastąpi wszystkich ścieżek elektrycznych w serwerze. Idealnie nadaje się do przesyłu danych na dłuższych dystansach i przy bardzo wysokich przepustowościach, ale logika, pamięci lokalne czy krótkie połączenia wewnątrz układu nadal będą elektryczne.
Prosty mini-wniosek: fotonika ma leczyć konkretne bóle elektroniki – rosnące straty, energię i złożoność przy wysokich prędkościach – a nie zastąpić ją całkowicie.
Dlaczego miedź się kończy: fizyczne limity łączy elektrycznych
Co faktycznie zabija wydajność kabli w serwerze
Miedziane ścieżki i kable były fundamentem komunikacji w serwerach przez dekady. Jednak przy szybkościach rzędu kilkudziesięciu, a tym bardziej setek gigabitów na sekundę na pojedyncze połączenie, zaczynają działać zjawiska, które trudno „zamaskować” elektroniką.
Kluczowe problemy to:
Straty sygnału (attenuation) – im wyższa częstotliwość, tym większe tłumienie w przewodniku. Sygnał elektryczny słabnie wraz z długością toru, co wymaga coraz agresywniejszej kompensacji.
Efekt naskórkowy – przy wysokich częstotliwościach prąd płynie głównie przy powierzchni przewodnika, co skutecznie zmniejsza „użyteczny” przekrój miedzi i zwiększa opór.
Rozproszenie i zniekształcenia – różne składowe częstotliwości sygnału rozchodzą się z różnymi prędkościami, co zniekształca impulsy i zwęża „oczko” sygnału (eye diagram).
Skutkiem jest to, że aby utrzymać akceptowalny poziom błędów przy coraz wyższych prędkościach, trzeba stosować coraz bardziej złożone układy equalizacji, wzmacniacze, retimery i inne elementy poprawiające integralność sygnału. Każdy taki element to dodatkowa energia, ciepło i opóźnienie.
Odległość zabija miedź: 5–10 cm kontra kilka metrów
W projektach płyt głównych często widać, że sygnały high-speed są prowadzone po bardzo krótkich ścieżkach. Dla interfejsów wewnątrz płyty – kilka centymetrów – da się jeszcze stosunkowo sensownie opanować problemy z integralnością. Jednak gdy tylko trzeba wyjść poza płytę:
połączenie CPU–GPU w tej samej obudowie ma do pokonania centymetry,
połączenie serwer–switch w tym samym racku – już metry,
połączenie między rackami – kilka lub kilkanaście metrów.
To, co działa przy 5 cm, zaczyna się rozlatywać przy 2–3 metrach, jeśli próbujemy utrzymać te same prędkości. W centrum danych nie ma luksusu skracania każdej ścieżki – szafy trzeba ustawić w rzędach, przełączniki w określonych miejscach, a okablowanie musi przejść trasami kablowymi i podłogami technicznymi.
W efekcie skala systemu zaczyna brutalnie karać elektronikę. Przy rozsądnej liczbie retimerów i akceptowalnym zużyciu energii trudno już dalej „wykręcać” przepustowość na miedzi, zachowując sensowny koszt całości.
Skala centrów danych AI: przepustowość rośnie szybciej niż możliwości miedzi
W klasycznym data center duża część ruchu sieciowego to ruch między serwerami aplikacyjnymi, bazą danych, storage. W centrach danych projektowanych pod AI i HPC sytuacja jest inna: dominują potężne strumienie danych między GPU, CPU i pamięcią rozproszoną, często przy użyciu szybkich interkonektów typu InfiniBand, NVLink czy szybkiego Ethernetu.
Trening dużego modelu językowego czy systemu rekomendacyjnego może wymagać tysięcy GPU spiętych w klastrach. Każdy z tych akceleratorów musi z dużą szybkością wymieniać dane z innymi – gradienty, parametry modelu, mini-batche danych. Sieć między GPU staje się krytyczną częścią „procesora rozproszonego”, a nie tylko dodatkiem.
Przy takim obciążeniu:
łączna przepustowość w jednym racku GPU może sięgać wielu terabitów na sekundę,
szkielet sieci między rackami musi przenosić jeszcze większe sumaryczne strumienie danych,
każdy dodatkowy mikrosekund opóźnienia przekłada się na wydłużenie czasu treningu.
Elektryczne interkonekty odpowiadają na te wymagania coraz większą liczbą linii i warstwą korekcji, ale robią to kosztem złożoności, energii i trudności projektowania PCB. Pojawia się efekt malejących korzyści: z każdą generacją łącz rośnie trudność utrzymania sygnału, a zyski w przepustowości na wat są coraz mniejsze.
Oprócz strat i efektu naskórkowego, problemem stają się również:
Przesłuchy (crosstalk) – przy gęsto upakowanych ścieżkach wysokiej częstotliwości sygnały zaczynają na siebie oddziaływać. Trzeba zwiększać odstępy, dodawać ekrany, warstwy masy – co ogranicza gęstość.
Opóźnienie propagacji – sygnał elektryczny w przewodniku rozchodzi się wolniej niż światło w próżni. Przy wysokich prędkościach i długich trasach opóźnienia sumują się, wpływając na okna czasowe i synchronizację.
Ograniczenia częstotliwości – istnieje praktyczny sufit częstotliwości, przy której da się jeszcze w miarę sensownie przesyłać sygnał po miedzi na daną odległość bez absurdalnych kosztów kompensacji.
W praktyce oznacza to, że elektronika musi pracować coraz ciężej przy każdej kolejnej generacji łączy, aby utrzymać jakość sygnału. To bezpośrednio uderza w budżet mocy, chłodzenie i niezawodność. Fotonika oferuje inną krzywą: przy wyższych prędkościach i dłuższych dystansach ma znacznie korzystniejszy profil strat i opóźnień.
Logiczny mini-wniosek: elektryczne interkonekty zwiększają koszt, złożoność i zużycie energii szybciej, niż rośnie ich użyteczna przepustowość. W pewnym momencie nie broni się to ani technicznie, ani biznesowo.
Źródło: Pexels | Autor: Brett Sayles
Co to są optyczne interkonekty w praktyce?
Jak wygląda optyczny link „od środka”
Przy pierwszym podejściu do serwera z optycznymi interkonektami większość osób widzi po prostu inne kable – zamiast grubych, sztywnych przewodów miedzianych pojawiają się cienkie wiązki światłowodów i niewielkie moduły. Pod obudową dzieje się jednak dużo więcej: klasyczny tor elektryczny zostaje „przecięty” i zamieniony na światło możliwie najbliżej źródła danych.
Typowy tor optyczny w serwerze AI można rozłożyć na kilka kroków:
Źródło sygnału – GPU, CPU, NIC lub dedykowany układ komunikacyjny generuje dane w formie elektrycznej (wysokoszybkie linie SerDes).
Moduł fotoniczny – w pobliżu procesora sygnał trafia do elementu, który zamienia impulsy elektryczne na optyczne. Może to być osobny układ (co-packaged optics) lub blok wbudowany w sam pakiet procesora.
Światłowód – cienkie włókno prowadzi światło do innego modułu, serwera lub switcha. Dla sygnału to w zasadzie „autostrada” o bardzo niskim tłumieniu.
Detektor optyczny – po drugiej stronie fotodioda (lub matryca fotodiod) zamienia sygnał świetlny z powrotem na impulsy elektryczne.
Układ odbiorczy – elektronika SerDes odzyskuje dane, wykonuje ewentualną korekcję błędów i przekazuje je do logiki GPU/CPU.
Różnica w stosunku do klasycznego połączenia miedzianego jest taka, że najdłuższy odcinek trasy danych odbywa się w domenie optycznej. To on „wycina” największą część strat, zakłóceń i problemów z integralnością, które wcześniej trzeba było tłumić elektroniką.
Rodzaje optycznych interkonektów, które realnie trafiają do serwerowni
Na slajdach konferencyjnych często miesza się liczne koncepcje, które w praktyce są w różnym stopniu dojrzałe. Dla inżyniera liczą się te formy optycznych połączeń, które rzeczywiście można dziś zamówić i wpiąć do szafy:
Klasyczne moduły optyczne (pluggable) – QSFP, OSFP i ich kolejne generacje. Elektronika SerDes siedzi w karcie/na płycie, a moduł optyczny wpinany jest w złącze na froncie. To nadal dominujący model w sieciach 100–800 Gb/s.
Active Optical Cables (AOC) – kabel ze zintegrowanymi modułami optycznymi na obu końcach. Z punktu widzenia serwera wygląda jak „zwykły” kabel, ale w środku ma konwersję E/O i O/E. Uproszczenie logistyki kosztem mniejszej elastyczności.
Co-packaged optics (CPO) – moduły optyczne umieszczone w tym samym pakiecie co ASIC switcha lub bardzo blisko niego na wspólnym podłożu. Znacząco skraca się tu odcinek elektryczny między krzemem logicznym a fotoniką.
On-board / near-package optics – fotonika montowana na płytce bardzo blisko procesora lub GPU, ale wciąż jako osobne układy. To etap przejściowy między modułami pluggable a pełną integracją optyki z krzemem obliczeniowym.
W tle eksperymentuje się też z prawdziwie zintegrowaną fotoniką w samym GPU/CPU, ale takie rozwiązania dopiero dojrzewają. Migracja odbywa się etapami: od „optycznych kabli” zamiast miedzianych, przez optykę przeniesioną bliżej krzemu, aż po opakowania, gdzie granica między układem logicznym a fotonicznym zaczyna się zacierać.
Krótki mini-wniosek: na krótką metę optyczne interkonekty wyglądają jak „inne kable”, ale kierunek jest jasny – optyka przesuwa się coraz bliżej samego procesora.
Integracja na poziomie racka: optyczne „szyny danych” zamiast miedzianej pajęczyny
Jeśli wejść do nowoczesnego racka GPU, często pierwsze wrażenie to gęsta, kolorowa plątanina kabli DAC i AOC. Przy kilkudziesięciu GPU w jednym stojaku okablowanie zaczyna być samo w sobie problemem mechanicznym i termicznym. Optyczne interkonekty zmieniają ten obraz, zwłaszcza gdy przestaje się myśleć o nich jak o pojedynczych patchcordach.
Coraz częściej stosuje się podejście „szynowe”:
na froncie lub z tyłu racka montuje się optyczne panele dystrybucyjne, do których wchodzą wiązki wielowłóknowe (MPO/MTP),
z każdego serwera GPU wychodzi kilka logicznych „pni” optycznych, prowadzonych do lokalnych switchy lub bezpośrednio do top-of-rack,
przełączanie ruchu odbywa się głównie w domenie optycznej i na poziomie fabricu, zamiast „przemeblowywania” kabli miedzianych przy każdej zmianie konfiguracji.
Dla zespołu operacyjnego oznacza to mniej ciężkich, sztywnych kabli, mniejsze ryzyko przerwań przy serwisie i większą przewidywalność przepływu powietrza. Dla architekta sieci ważniejsze jest jednak coś innego: możliwość budowania gęstszych, bardziej symetrycznych topologii między GPU bez wysadzania budżetu mocy na okablowanie.
Źródło: Pexels | Autor: Brett Sayles
Kluczowe korzyści: gdzie fotonika wygrywa z elektroniką
Przepustowość i skalowanie bez mnożenia warstw PCB
Przy klasycznym podejściu, jeśli trzeba podwoić przepustowość między dwoma węzłami GPU, zwykle kończy się to dołożeniem kolejnych linii, grubszych kabli lub bardziej złożonego PCB. Fotonika daje inne narzędzie – multipleksację w dziedzinie długości fali (WDM).
W jednym włóknie można przesyłać wiele „kolorów” światła, z których każdy niesie niezależny strumień danych. W praktyce oznacza to, że:
zamiast dodawać kolejne pary przewodów, zwiększa się liczbę kanałów optycznych w tym samym włóknie,
projekt płyty przestaje być aż tak zakładnikiem liczby linii high-speed – kluczowe staje się wyprowadzenie sygnału do modułu optycznego, a nie dociśnięcie kolejnej pary diffów do złącza na krawędzi.
To przesuwa punkt ciężkości z inżynierii PCB na inżynierię fotoniczną i projektowanie pasma w światłowodzie. Skala, którą dawniej osiągało się przez rozrost fizycznej liczby połączeń, staje się dostępna przez „zagęszczenie” informacji w domenie optycznej.
Energia na bit: optyka wygrywa na dystansie
W krótkiej odległości, np. kilka milimetrów wewnątrz układu, elektronika jest bezkonkurencyjna. Jednak już przy długościach typowych dla połączeń serwer–switch–serwer profil energetyczny zaczyna wyglądać inaczej. Dla inżyniera liczy się energia na przesłany bit, bo to ona kumuluje się w skali klastra.
Najprostsza obserwacja z praktyki centrów danych jest taka, że:
dla kilku metrów koszt energetyczny utrzymania sygnału elektrycznego rośnie gwałtownie wraz z częstotliwością,
w światłowodzie ten wzrost jest znacznie łagodniejszy – na dłuższych dystansach optyka przejmuje prowadzenie, nawet jeśli uwzględnić koszt konwersji E/O i O/E.
Efekt widać w budżetach mocy: w dużych klastrach AI kilka–kilkanaście procent całkowitej energii potrafi zniknąć tylko w interkonektach. Zastąpienie części z nich połączeniami optycznymi przesuwa tę granicę i pozwala „oddłużyć” zasilanie oraz chłodzenie.
Mini-wniosek: im dalej dane muszą podróżować i im wyższa prędkość, tym bardziej opłaca się światło.
Niższa wrażliwość na zakłócenia i prostsza inżynieria sygnału
Przy setkach gigabitów na linię inżynier sygnałowy musi walczyć z przesłuchami, odbiciami, nierównościami impedancji i całym katalogiem zjawisk, które pojawiają się w miedzi. W światłowodzie większość tych problemów znika lub jest znacząco osłabiona. Nie ma pola elektromagnetycznego, które sprzęga się z sąsiednim przewodem, nie ma efektu naskórkowego.
To nie znaczy, że wolno spuszczać gardę – pojawiają się inne kwestie, jak:
precyzja sprzęgania światła do falowodów i włókien,
stabilność długości fali i temperatury źródeł laserowych,
nieliniowości w bardzo długich odcinkach światłowodu.
Jednak w dystansach data center większość tych efektów jest opanowana. Cały „ciężar” kompensacji sygnału, który w elektryce przenosi się na wysilone układy equalizacji, można zastąpić prostszą logiką korekcji błędów i zarządzaniem kanałami optycznymi.
Gęstość połączeń i mechanika: więcej linii w mniejszej objętości
W sytuacji, gdy trzeba połączyć kilkadziesiąt GPU w topologii o wysokiej spójności, liczba fizycznych kabli staje się krytyczna. Grube, sztywne przewody miedziane mają swój limit: trudno je ułożyć, zapętlić, opisać i serwisować. Światłowody są lżejsze, cieńsze i mają mniejszy promień gięcia.
Przekłada się to na kilka konkretnych plusów:
łatwiej utrzymać porządek w racku przy bardzo dużej liczbie połączeń,
mniejsza przeszkoda mechaniczna dla przepływu powietrza, co pomaga w chłodzeniu,
mniejsza masa całych wiązek – co jest istotne przy gęsto zabudowanych szafach i patchpanelach.
W praktyce pozwala to budować „bogatsze” topologie między GPU i serwerami bez przekształcania racka w nienaruszalną rzeźbę z kabli, której nikt nie chce potem dotykać.
Jak optyczne interkonekty zmienią architekturę serwerów AI
Od „pudełek z GPU” do optycznie spiętych bloków obliczeniowych
W klasycznym myśleniu serwer to jednostka podstawowa. Wkłada się do niej CPU, kilka GPU, trochę pamięci, podłącza do sieci i traktuje jako węzeł. Fotonika rozmywa tę granicę: skoro można mieć tanie, niskoenergetyczne połączenia o bardzo dużej przepustowości między obudowami, to definicja „węzła” się zmienia.
Pojawiają się projekty, w których:
GPU z kilku fizycznie oddzielnych chassis tworzą jeden logiczny blok akceleratorów,
pamięci HBM, NVRAM czy klasyczny DRAM są dostępne przez optyczne fabric jako quasi-wspólny zasób,
rola CPU przesuwa się bardziej w stronę koordynatora pracy „chmury GPU”, niż lokalnego zarządcy kilku kart w obudowie.
W takim świecie to optyczna sieć staje się główną magistralą systemu, a nie lokalna szyna PCIe. Dystans między „współpracującymi” GPU rośnie fizycznie, ale logicznie może wyglądać jak sąsiadujące układy na tej samej płytce.
Disaggregated computing: rozszczepienie CPU, GPU, pamięci i storage
Jednym z trendów, które optyczne interkonekty przyspieszają, jest tzw. disaggregation – rozdzielanie komponentów na osobne „pule”. Zamiast kupować serwery o stałej konfiguracji, można komponować systemy z pooli CPU, pooli GPU, pooli pamięci, spiętych szybką siecią optyczną.
Dla architektury AI oznacza to m.in.:
możliwość dynamicznego przydzielania akceleratorów do zadań bez twardego przywiązania do konkretnego węzła,
elastyczniejsze skalowanie w poziomie: dokładamy kolejne chassis z GPU lub pamięcią, nie ruszając reszty.
Bez lekkich, szybkich i energooszczędnych interkonektów cały pomysł jest mniej atrakcyjny, bo każdy skok między zasobami to duża kara w opóźnieniach i mocy. Z fotoniką odległość fizyczna przestaje być takim problemem, o ile mieścimy się w budżecie opóźnień narzuconym przez algorytmy treningowe.
Topologie sieci GPU: od fat-tree do optycznych tkanin wysokiego stopnia
Dzisiejsze klastry AI często opierają się na wariantach fat-tree, dragonfly czy innych dobrze znanych topologii HPC. Ich projekt jest kompromisem między liczbą portów switchy, długością kabli a kosztami. Optyczne interkonekty rozszerzają przestrzeń rozwiązań: łatwiej zbudować fabric o bardzo wysokiej spójności, w którym każdy GPU ma względnie krótki „logiczny” dystans do innych.
Można sobie wyobrazić klastry, gdzie:
większa liczba „płaskich” połączeń peer-to-peer między grupami GPU zmniejsza potrzebę przechodzenia przez wiele poziomów switchy,
hybrydowe topologie łączą dedykowane optyczne ringi/mesh między GPU z klasycznym szkieletowym Ethernetem dla ruchu zarządzającego,
Optical-attach GPU i switch: gdy interkonekt wchodzi do obudowy
Podczas przeglądu nowej generacji serwerów AI coraz częściej widać nietypowe zdjęcia: radiator GPU, a tuż przy nim moduły optyczne, jakby ktoś „dokleił” miniprzełącznicę światłowodową do akceleratora. To nie zabieg marketingowy, tylko zwiastun zmiany – interkonekt przestaje być osobnym pudełkiem w racku, a staje się integralną częścią układu.
W praktyce oznacza to kilka nowych wzorców konstrukcyjnych:
GPU z bezpośrednim wyprowadzeniem optyki (optical-attach) – sygnał z serdesów nie wychodzi już na długie ścieżki PCB i gniazda miedziane, tylko trafia wprost do transceivera optycznego umieszczonego obok układu,
switche z wbudowaną fotoniką – zamiast klasycznej karty line card z gęstymi złączami, pojawiają się moduły, gdzie port „kończy się” od razu w światłowodzie,
kompaktyzacja front panelu – mniej klasycznych złącz, więcej gęstych, wielowłóknowych interfejsów (MPO/CS/innowacyjne złącza hybrydowe), które przenoszą setki gigabitów na niewielkiej powierzchni.
Takie podejście ogranicza straty na ścieżkach, upraszcza projekt PCB i skraca elektryczną część toru. Im bliżej uda się „przysunąć” optykę do krzemu, tym łatwiej utrzymać wysokie prędkości bez dokręcania equalizacji i bez wyżyłowanych wymagań dla laminatu.
Mini-wniosek: przejście na optykę to nie tylko wymiana kabli – to przesunięcie granicy między światem elektrycznym a optycznym w głąb obudowy.
Fotonika na interposerze: optyczne „pady” obok TSV
Podczas sesji z działem R&D widać coraz więcej slajdów z dziwnie wyglądającymi przekrojami układów: obok TSV do HBM pojawiają się mikroskopijne falowody i struktury sprzęgające światło. To znak, że fotonika krzemowa zaczyna wchodzić na interposer, a nie tylko na krawędź płytki.
Konkretnie chodzi o scenariusze, w których:
na tym samym interposerze co GPU lub ASIC umieszcza się transceivery optyczne jako chiplet fotoniczny,
komunikacja między GPU a fotoniką odbywa się po bardzo krótkich liniach elektrycznych, a dalej już w pełni optycznie,
dzięki temu można zbudować „gęste” porty optyczne, które logicznie zachowują się jak bardzo szeroka magistrala między-die.
To trochę zmienia filozofię projektowania akceleratorów: interkonekt przestaje być peryferium, a zaczyna być równorzędnym elementem architektury układu. Pojawia się pytanie nie tylko „ile rdzeni i HBM?”, ale też „jak szerokie i w jakiej topologii porty optyczne na poziomie chipletów?”.
Algorytmy treningowe a budżet opóźnień w optycznym fabric
Przy konfigurowaniu klastra na kilkaset GPU na sali pada zwykle to samo pytanie: „Czy te dodatkowe mikrosekundy opóźnienia nas zabiją?”. Z perspektywy architekta AI kluczowe jest, jak optyczna sieć wpisuje się w algorytmiczny budżet latencji dla treningu i inferencji.
Dla typowych workloadów pojawiają się różne czułości:
trening z intensywnym all-reduce (np. duże modele językowe) – bardzo wrażliwy na ogon opóźnień i nierównomierność czasu komunikacji między grupami GPU,
pipeline parallelism – bardziej toleruje wydłużone ścieżki, o ile zachowana jest regularność i brak gwałtownych „jamów” w sieci,
inferencja batchowa – często mniej wrażliwa na pojedyncze mikrosekundy, za to silnie zależna od przepustowości przy rozproszonym cache modeli.
Optyczne interkonekty nie są magiczne – opóźnienie na fotonie jest wciąż ograniczone prędkością światła, a do tego dochodzi elektronika brzegowa i przełączniki. Zyskuje się jednak na tym, że opóźnienie skaluje się łagodniej z dystansem i liczbą hopów, o ile fabric jest dobrze zaprojektowany.
Mini-wniosek: architekt AI musi zacząć traktować projekt sieci optycznej jako część strojenia modelu – tak samo jak dobór rozmiaru batcha czy schematu shardingowania.
Nowe „słabe ogniwa”: gdzie optyka wprowadza własne ograniczenia
Podczas migracji z miedzi na światło wiele zespołów koncentruje się na kablach i modułach, a dopiero potem wychodzą na jaw inne bottlenecki. Optyczne interkonekty niosą własny zestaw wyzwań, które potrafią zaskoczyć, jeśli ktoś myśli w kategoriach klasycznego Ethernetu w miedzi.
Kilka typowych „niespodzianek” z projektów data center:
termoika modułów optycznych – zagęszczenie portów często sprawia, że to nie GPU czy CPU, lecz gęsto upakowane transceivery stają się lokalnym źródłem ciepła,
stabilność długości fali – w gęstym WDM drobne odchyłki temperatury mogą zacząć „zjeżdżać” kanały na siebie, co wymaga solidnego zarządzania termiką i kalibracją,
zanieczyszczenia i jakość złącz – w świecie „tłustej miedzi” brudne złącze oznacza zwykle chwilowy problem z kontaktem; w optyce drobina kurzu może podnieść BER lub całkowicie zabić link przy wyższych prędkościach,
logistyka patchcordów – łatwiej się je układa, ale też łatwiej pomylić; większa gęstość portów zwiększa ryzyko błędnych połączeń, które nie są od razu oczywiste.
Te aspekty pchają w stronę automatyzacji: monitorowania jakości optycznej linków, telemetryki z modułów i narzędzi do szybkiego wykrywania „ślepego” włókna. Bez tego operacja na żywym organizmie dużego klastra jest znacznie trudniejsza niż przy miedzi.
Segmentacja ruchu: optyczne „autostrady” dla gradientów i danych
Podczas obserwacji pracy dużego klastra w profilerze sieciowym widać zwykle dwa główne strumienie: ciężki, regularny ruch gradientów/modeli i bardziej „szarpany” ruch danych treningowych, zarządzania, checkpointów. Optyka pozwala fizycznie i logicznie rozseparować te światy.
Spotyka się rozwiązania, w których:
tworzy się dedykowany optyczny fabric do komunikacji GPU–GPU (all-reduce, scatter, gather),
osobny, często mniej wyrafinowany fabric optyczny lub nawet miedź obsługuje ruch storage/zarządzanie,
przy WDM część kanałów w tym samym włóknie jest „zarezerwowana” na ruch o krytycznej latencji, a reszta na ruch tła.
Efektem jest bardziej przewidywalne zachowanie klastra: ruch kontrolny i I/O nie mają szans „zatkać” ścieżek, którymi idą gradienty. To szczególnie istotne przy mixed workloadach, gdzie w tym samym czasie trenuje się modele, robi się walidację i serwuje inferencję.
Projektowanie pod kątem awarii: optyczne ścieżki obejścia
Na tablicy operacyjnej SRE zwykle wiszą te same raporty: „padł link między grupą GPU a top-of-rack, training job stanął na 20 minut”. W świecie optyki polityka radzenia sobie z awariami musi uwzględniać inne właściwości fizyczne łączy i inną skalę zagęszczenia.
Pojawia się kilka praktyk, które zyskują na znaczeniu:
nadmiarowe ścieżki w tym samym włóknie – przy WDM awaria jednego kanału nie oznacza utraty całej trasy, o ile sprzęt i protokoły potrafią szybko przełączyć się na alternatywną długość fali,
fine-grained rerouting – zamiast przełączania całych portów można przerzucać tylko część strumieni na inne ścieżki, zachowując resztę w ruchu,
świadome mapowanie topologii logicznej na fizyczną – tak, by awaria pojedynczego włókna nie odcięła całej grupy model parallel od reszty klastra.
Z perspektywy architekta AI kluczowe jest, aby schemat podziału modelu i danych był odporny na utratę fragmentu optycznego fabric. To przesuwa część odpowiedzialności za HA z warstwy „infrastruktura” do warstwy „framework/planer zadań”.
Nowe role w zespołach: inżynier fotoniki bliżej software’u
Przy przeglądzie zespołu odpowiedzialnego za klaster AI widać już nie tylko klasyczne role typu „network engineer” czy „HPC architect”. Coraz częściej pojawia się ktoś, kto rozumie jednocześnie metryki BER, tłumienie łącza i profile ruchu treningowego.
W praktyce oznacza to zacieśnienie współpracy między:
inżynierami fotoniki i sieci – projektują gęste, wielowarstwowe fabrici optyczne, które da się realnie zbudować i schłodzić,
zespołem AI/ML – definiują wymagania na topologię z punktu widzenia rozkładu modelu i danych,
inżynierami systemowymi – dbają o integrację telemetrii optycznej z monitoringiem klastra i schedulerem zadań.
To przesunięcie sprawia, że decyzje o tym, jak rozmieścić GPU, jak zestawić włókna i jakie moduły optyczne dobrać, przestają być wyłącznie tematem „facility”. Stają się elementem strategii rozwoju platformy AI, tak samo jak wybór frameworka czy typu akceleratora.
Ekonomia generacji: planowanie wymian modułów optycznych
Podczas budowy nowej generacji klastra finanse często skupiają się na GPU. Tymczasem koszt modułów optycznych i okablowania przy dużej skali rośnie do poziomu, którego nie da się zignorować. Co gorsza, cykl życia tych komponentów nie zawsze pokrywa się z cyklem życia serwerów.
Pojawia się więc nowy wymiar planowania:
projektowanie „generacyjnych” stref w fabricu – tak, by móc wymieniać część portów i modułów na szybsze bez ingerowania w całość,
świadome decyzje, gdzie użyć modułów o dłuższym horyzoncie (niższe prędkości, ale większa stabilność i tańszy upgrade), a gdzie od razu wejść w high-end,
budżetowanie OPEX na wymianę części optyki po kilku latach, gdy modele AI i wymagania przepustowości skoczą o kolejne rzędy wielkości.
W efekcie inwestycja w optyczne interkonekty to nie jednorazowy wydatek, ale ciągłe zarządzanie „portfelem” długości fali, modułów i generacji sprzętu. Kto dobrze to poukłada, ten uniknie sytuacji, w której świetny klaster GPU dusi się na przestarzałym fabricu optycznym.
Najczęściej zadawane pytania (FAQ)
Czym są optyczne interkonekty i czym różnią się od zwykłych kabli w serwerowni?
Wyobraź sobie, że zamiast kolejnej wiązki grubych kabli miedzianych między serwerami pojawia się cienka taśma światłowodowa, a dane „jadą” tamtędy jako impulsy światła. To właśnie optyczny interkonekt – połączenie między chipami, serwerami lub szafami, oparte na fotonice, a nie na czystej elektronice.
Różnica jest taka, że w miedzi płynie prąd, a w światłowodzie propagują fotony o określonej długości fali. Elektronika zostaje na końcach (GPU, CPU, kontroler sieciowy), natomiast sama „droga” między nimi jest optyczna. W praktyce daje to wyższą przepustowość na mniejszej przestrzeni, mniejsze straty sygnału i niższe zużycie energii przy bardzo dużych prędkościach.
Dlaczego miedź „przestaje wyrabiać” w centrach danych i przy serwerach AI?
Typowy scenariusz: kolejny klaster GPU do trenowania modeli AI jest dokładany do tej samej infrastruktury, a wykresy ruchu sieciowego zamieniają się w płaską linię – nic już nie przyspiesza, tylko rosną opóźnienia i temperatura. Dodawanie następnych kabli DAC i przełączników pomaga coraz mniej, a rachunek za prąd i chłodzenie idzie w górę szybciej niż przepustowość.
Przy bardzo wysokich szybkościach transmisji miedziane połączenia zabijają: duże tłumienie sygnału, efekt naskórkowy i zniekształcenia impulsów. Żeby to skompensować, trzeba stosować retimery, rozbudowaną equalizację i skomplikowane układy analogowe, które zużywają coraz więcej energii i miejsca. W pewnym momencie dokładanie kolejnych „łatek” w elektronice daje minimalny zysk, a koszt infrastruktury rośnie lawinowo – stąd zwrot w stronę optyki.
Jak dokładnie działa przesył danych światłem w serwerach i centrach danych?
Na początku wszystko jest „po staremu”: chip (np. GPU) generuje sygnał elektryczny z zerami i jedynkami. Dalej wchodzi modulator optyczny, który na bazie tego sygnału „rzeźbi” wiązkę światła – zmienia jej natężenie, fazę czy poziomy, zgodnie z wybraną modulacją (np. PAM-4). Ten ustrukturyzowany strumień światła jest wprowadzany do światłowodu lub falowodu na chipie i leci dalej aż do odbiornika.
Żeby upchnąć więcej danych w tym samym włóknie, stosuje się równolegle kilka trików:
wielopoziomowe modulacje (więcej bitów na symbol),
multipleksowanie fal (WDM – kilka długości fali w jednym włóknie),
wiązki wielu włókien jako jeden logiczny link.
Na końcu toru detektor optyczny zamienia sygnał świetlny z powrotem na impulsy elektryczne rozumiane przez elektronikę sieciową i kontrolery pamięci.
Czy fotonika całkowicie zastąpi połączenia elektryczne w serwerach AI?
Obraz „w pełni optycznego serwera” brzmi efektownie, ale rzeczywistość jest bardziej przyziemna. Logika, pamięć lokalna w chipie, bardzo krótkie ścieżki w obrębie jednego układu czy modułu – to wciąż domena elektroniki. W tych zakresach długości i czasów działania tranzystorów nie da się w prosty sposób przenieść na światło ze względu na skalę (fale optyczne w mikrometrach vs. tranzystory w nanometrach).
Fotonika ma być „autostradą” tam, gdzie elektronika się dusi – na dłuższych dystansach w serwerze, między serwerami w racku i między szafami. Minimalizuje straty sygnału, obniża energochłonność na bit i pozwala zagęścić połączenia bez robienia z serwerowni gorącego spaghetti z kabli. Mini‑wniosek: optyka nie zastępuje elektroniki, tylko przejmuje jej najbardziej problematyczne odcinki.
Jakie są główne wyzwania i ograniczenia fotoniki w centrach danych?
Na papierze wszystko wygląda świetnie, ale pierwsze projekty optycznych interkonektów szybko zderzają się z praktyką. Pierwszy problem to skala: długość fali światła telekomunikacyjnego to mikrometry, więc elementy fotoniczne nie mogą być miniaturyzowane tak agresywnie, jak tranzystory CMOS. To ogranicza gęstość upakowania „optyki” w porównaniu z czystą elektroniką.
Drugi punkt to integracja: trzeba pożenić na jednym podłożu modulatory, falowody i detektory z klasycznymi blokami logicznymi i pamięciowymi. Wymaga to specjalnych procesów produkcyjnych (silicon photonics) i zupełnie nowej kultury projektowej. Do tego dochodzi koszt konwersji sygnałów elektryczno‑optycznych i optyczno‑elektrycznych – każda taka bramka zużywa energię, dodaje opóźnienie i zajmuje miejsce. Efekt jest taki, że fotonika ma ogromny sens tam, gdzie oszczędności energii i przepustowości przewyższają te narzuty.
Co w praktyce oznacza „światłowód w środku serwera” dla projektantów i operatorów?
Dla projektanta płyty głównej i obudowy serwera zmienia się zestaw „bolączek”. Krótkie miedziane ścieżki RF zastępują falowody i złącza optyczne, trzeba inaczej planować prowadzenie tras, dostęp serwisowy i rozmieszczenie modułów optycznych względem chipów. Skojarzenie „światłowód = kabel między budynkami” przestaje być aktualne – mówimy o odległościach rzędu centymetrów i o optyce zintegrowanej z opakowaniem układu.
Dla operatora serwerowni dochodzi nowa warstwa kompetencji: czyszczenie i testowanie złączy optycznych, inne procedury diagnostyczne, obserwowanie nie tylko błędów sieciowych, ale też parametrów optycznych (moc, budżet tłumienia). W zamian zyskuje się możliwość upakowania większej liczby „gęstych” serwerów AI w tej samej szafie, bez natychmiastowego uderzenia w limity mocy i chłodzenia.
Kiedy optyczne interkonekty staną się standardem w serwerach AI?
W największych centrach danych pierwsze wersje tej technologii już są wdrażane – często w formie modułów optycznych bardzo blisko GPU lub w specjalnych platformach do trenowania modeli LLM. Dla nich każdy procent oszczędności energii na bit i każda dodatkowa warstwa modelu „w tej samej szafie” przelicza się bezpośrednio na koszty operacyjne i przewagę konkurencyjną.
W szerszym rynku serwerów AI optyczne interkonekty będą pojawiać się etapami: najpierw w topowych klastrach, potem w standardowych serwerach akcelerowanych, a na końcu w bardziej masowych konstrukcjach. Prędkość adopcji zależy przede wszystkim od spadku kosztów integracji fotoniki z krzemem i od tego, jak szybko miedź stanie się nieopłacalna przy kolejnych generacjach GPU i CPU.
Najważniejsze punkty
Tradycyjna infrastruktura elektryczna z kablami miedzianymi zaczyna dobijać do twardych limitów – kolejne DAC‑i i przełączniki dają coraz mniejsze przyrosty przepustowości, za to dramatycznie podbijają koszty energii i chłodzenia.
Optyczne interkonekty zmieniają „środek trasy” danych: między chipami, serwerami i szafami zamiast sygnałów elektrycznych w miedzi pracuje światło w światłowodzie, a elektronika zostaje głównie na końcach połączeń.
W światłowodzie nośnikiem informacji są fotony o określonej długości fali, a pojemność łącza zwiększa się przez modulacje wielopoziomowe (np. PAM‑4), multipleksowanie wielu fal (WDM) i równoległe włókna – to pozwala w tej samej przestrzeni przenieść znacznie więcej danych niż miedź.
„Światłowód w środku serwera” to inna skala niż łącza WAN: liczą się centymetry–metry, gęstość wyprowadzeń z układów, integracja z płytą i obudową chipu, serwisowalność oraz zgodność z istniejącymi protokołami typu Ethernet czy InfiniBand.
Przejście na fotonikę nie jest tylko zmianą kabla, ale całego paradygmatu projektowania racków i płyt – znikają kluczowe ograniczenia elektryczne, za to dochodzą nowe wyzwania mechaniczne, optyczne i montażowe (prowadzenie włókien, złącza, precyzja montażu).
Źródła
Silicon Photonics Design: From Devices to Systems. Cambridge University Press (2015) – Podstawy fotoniki krzemowej, modulatory, integracja z CMOS
Optical Interconnects for Data Centers. Elsevier (2017) – Przegląd optycznych interkonektów w centrach danych, topologie i parametry
IEEE Standard for Ethernet (IEEE 802.3). IEEE (2022) – Specyfikacje łączy miedzianych i optycznych, prędkości, ograniczenia fizyczne
