Didelės spartos optinis sujungimas: duomenų centro sprendimai
Apr 27, 2026| Praėjusį ketvirtį klientas atsiuntė keturiasdešimt 400G DR4 modulių, reikalaudamas atsitiktinių Arista 7060X5 jungiklių jungčių. Dar prieš atidarant RMA dokumentus, mūsų inžinierius bandytojas uždavė vieną klausimą: ar patikrinoteMPO jungtysprieš montavimą? Jie neturėjo. Modulius išsiuntėme per visą regresiją, akių diagramos švarios, BER mažesnis nei 1E-13 visose keturiose juostose,DDM rodmenys vardiniai. Tada paprašėme jų atsiųsti savo magistralinio kabelio galų{1} veidų po skaiduliniu mikroskopu nuotraukas. Kiekviena jungtis buvo užteršta kietosiomis dalelėmis. Keturiasdešimt modulių, nulis defektų. Problema buvo dulkės.
Kiekvieną mėnesį matome tam tikrą versiją. Didelės spartos optinių sujungimų diegimas bet kokiu mastu atsitrenkia į tą pačią sieną, o skaičiai tai patvirtina: 65–70 % visų 400G ir 800G jungčių gedimų kyla dėl jungties užteršimo, o ne dėl siųstuvo-imtuvo gedimų. (IEEE 802.3 lauko duomenys per AscentOptics) Pirmiausia tai iškeliame, nes tai nustato, kaip mes galvojame apie visą sujungimo sprendimą. Modulis beveik niekada nėra silpniausia grandis. Fizinis sluoksnis aplink jį yra.
Jūsų srauto modelis lemia jūsų optinio sujungimo architektūrą
Visi pradeda nuo dalies numerio.QSFP-DD arba OSFP, SR arba DR, kelių režimų arba vieno{0}}režimų. Mes taip pat tai darome. Tačiau mūsų klientams sėkmingas diegimas prasidėjo kažkur kitur: kaip iš tikrųjų atrodo srautas?
Didelio-masto dirbtinio intelekto mokymas generuoja ryšį su visu-visu-GPU, kuris pasirodo stebėtinai nuspėjamas nuo minučių iki valandų. „Google“ tai išnaudoja naudodama optinių grandinių jungiklius savo Jupiterio tinkle, perkonfigūruodami fizinius šviesos kelius tarp stovų, o ne perjungdami paketus. Jų paskelbti dešimtmečio gamybinio naudojimo rezultatai: 41 % sumažinta galia, 30 % mažesnė apkrova ir 50 kartų pailgėjęs audinio veikimo laikas, palyginti su ankstesne Clos architektūra. (Google SIGCOMM'22) Šie skaičiai yra tikri, tačiau jie priklauso įmonei, kuri per penkerius metus OCS infrastruktūrai išleido nuo 500 iki 1 milijardo dolerių. Keletas vidutinio-dydžio klientų prašė įvertinti OCS galimybes jų aplinkoje. Kiekvienu atveju, kai jie paleido skaičius po-500 mazgų skalėje, kapitalo poreikis nusvėrė perkonfigūravimo naudą, ir jie liko prie įprasto stuburo lapo, naudojant prijungiamus modulius.
Išvada apverčia lygtį. Eismas yra intensyvus ir nenuspėjamas srauto lygiu, o delsos tolerancija yra artima nuliui. Negalite iš naujo sukonfigūruoti optinių kelių pagal užklausą. Jums reikia nuosekliai perteklinio audinio su deterministiniu delsimu, kuris stumtų jus prie prijungiamų siųstuvų-imtuvų, esančių stuburo lapų topologijoje, kurioje visada šviečia kiekviena nuoroda. Parduodame modulius pagal abu scenarijus, o inžineriniai pokalbiai yra visiškai skirtingi. Mokymo grupių pirkėjai nori sužinoti apie bendrą stelažo pralaidumą ir bito galią. Išvadų pirkėjai klausia apie uodegos delsą ir tai, kas nutinka, kai nuoroda nukrenta.
Tradicinėse įmonėse ir kolobarinėse aplinkose, mažesnėse už hiperskalę, dominuoja prievado kaina, o atgalinis suderinamumas su esamais pluoštiniais augalais yra svarbesnis nei neapdorotas pralaidumo tankis. Mes išbandėme savo400G QSFP-DD moduliai 14 perjungimo platformųįskaitant Cisco Nexus 93600CD, Arista 7060X5 ir Juniper QFX5220. Tokiose aplinkose dominuojantis rūpestis nėra greitis. Tai, ar modulį atpažins jungiklio programinė įranga be rankinio nepaisymo komandų.
800G negyva zona, kuri užklumpa inžinierius
Esant 400 G, jungties pasirinkimas buvo dviejų-pakopų procesas: išmatuokite atstumą, pasirinkite varį arba pluoštą. Pasyvus DAC patogiai įveikė 3–5 metrus. 800G tai sulaužė. Kiekviena juosta veikia 112G PAM4. Vario nuostoliai tokiais dažniais apytiksliai padvigubėja, palyginti su 400 G, todėl pasyviojo kabelio lubos yra kietos apie 2 metrus.
To išmokome brangiu būdu. Ankstyvas klientas užsisakė mūsų800G pasyvūs DAC mazgai3 metrų ilgio, atsižvelgiant į jų 400G stovo išdėstymą. Nuorodų mokymas nepavyko daugiau nei 60 % prievadų. Varis nebuvo sugedęs; fizika tiesiog neleis. Jie perėjo prie AEC 3–5 metrų bėgimui ir prijungiamų optinių modulių viskam, kas nėra, ir diegimas stabilizavosi per savaitę. Nuo tada mes nustojome priimti pasyviojo 800G DAC užsakymus virš 2,5 metro ir įtraukėme įspėjimą apie dislokavimo atstumą į užsakymo patvirtinimo procesą.
Dabar AEC priklauso 3–7 metrų atstumas. Skaitmeniniai retimeriai atkuria signalą elektriniu būdu be optinės konversijos, o tai sumažina išlaidas, bet padidina delsą. Vien tik KP4 FEC įveda nuo 50 iki 100 nanosekundžių kiekvienam šuoliui esant 800G, o retimeris sukrauna daugiau ant viršaus. Šiuo metu siunčiamuose AEC mazguose išmatavome bendrą pridėtą delsą nuo 85 iki 110 ns. Stuburo{10}}lapų audinio jungtims ši viršutinė dalis yra nepastebima, kai taikoma. Tvirtai susietų GPU grupių atveju tai kitokia istorija. Remiantis profiliavimo duomenimis, gautais iš trijų klientų diegimų, kuriuose veikia H100 mazgai, jei jūsų mokymo užduoties komunikacijos sąnaudos jau viršija 15%, šie papildomi šimtai nanosekundžių per šulį per kelis perjungimo lygius pradeda jungtis atliekant NCCL AllReduce operacijas.
Daugiau nei 7 metrus vienintelis tinkamas kelias yra prijungiami 800G optiniai siųstuvai-imtuvai. Čia labai sugriežtėja fizinio sluoksnio reikalavimai. Daugumoje 800G pasiekiamumo klasių įterpimo nuostolių biudžetai nuo pabaigos- iki- pagal IEEE 802.3ck yra mažesni nei 1,5 dB, o kiekvienas sujungtas MPO ryšys turi likti mažesnis nei 0,35 dB. Pastebėjome, kad įdiegtas šviesolaidis, kuris išlaikė sertifikatą esant 100G, rodo PMD vertes du–tris kartus viršijant vardinę specifikaciją po kelerių metų suspaudimo kabelių loveliuose, o tai atitinka Juniper tinklo tyrimų grupės pranešimus 2023 m. Mūsų standartinė rekomendacija prieš diegiant 800G siųstuvą-imtuvą: paleiskite OTDR ir PMD apibūdinimą kiekviename esamame skaidulų segmente. Ne pavyzdys. Kiekvienas segmentas. Dviejų magistralinių kabelių ištraukimo{17}pakartotinai kainuoja tik dalis išlaidų, susijusių su pertraukiamų nuorodų sklendžių derinimo šešis mėnesius.
CPO vs LPO vs Pluggable: kur kiekviena technologija iš tikrųjų yra 2026 m.
Supakuota optika{0} pakeis duomenų centro perjungimo infrastruktūros kūrimą. Mes tai sakome kaip prijungiamų modulių gamintojas, todėl laikykitės informuotu, o ne neutraliu požiūriu.
OFC 2026 CPO prototipų patikimumo duomenys parodė, kad gedimų dažnis gali būti mažesnis nei tradicinių prijungiamų modulių. Be mechaninio įdėjimo ciklų ar atvirų jungčių paviršių, dominuojantys prijungiamų modulių gedimo režimai tiesiog netaikomi. Broadcom Bailly 51.2T CPO jungiklio platforma parodė, kad optinio sluoksnio energijos suvartojimas yra maždaug 70 % mažesnis, palyginti su lygiavertėmis prijungiamomis konfigūracijomis. (DataMIntelligence optinio sujungimo ataskaita) NVIDIA parodė CPO{0}}integruotus jungiklius GTC 2026 taikymo mastu-diegiant 2027–2028 m. lange.
Mūsų pozicija: jei nesate hiperskaleris, kuriantis pasirinktinį silicio jungiklį, prijungiama optika yra vienintelė galimybė, kurią galima įdiegti bent iki 2027 m. CPO reikia plokščių architektūros, kurios dauguma jungiklių pardavėjų dar nepateikė, jungčių standartai, kurie nėra baigti, ir visiškai naujas gedimų, kurių negalite pašalinti ištraukę modulį, valdymo planas. Bendrųjų įmonių pirkimų ekosistemos dar nėra. Du potencialūs klientai per pastaruosius metus atidėliojo savo 400G-į 800G naujinimus, laukdami CPO. Galiausiai abu grįžo ir pateikė prijungiamus užsakymus po to, kai jų pralaidumo spragos tapo gamybos incidentais. Išsamiau apie šios pozicijos inžinerinį pagrindimą rašėme mūsų svetainėjeprijungiamo siųstuvo-imtuvo architektūros analizė.
LPO sėdi kitoje erdvėje. Pašalinus DSP iš modulio, išjungiamas vienintelis energijos reikalaujantis komponentas, kuris sunaudoja iki pusės visos modulio energijos. Rezultatas – 30–50 % mažesnis suvartojimas ir iki 15 nanosekundžių mažesnis delsos laikas. 2025 m. pabaigoje pradėjome teikti specifinius LPO-RFQ. Trys iš keturių buvo gauti iš klientų, kuriančių vieno-tiekėjo GPU grupes NVIDIA Spectrum-X. Nieko nenaudojami kelių pardavėjų audiniai, o tai jums pasako viską apie tai, kur šiandien veikia LPO. Jei jūsų tinkle sumaišomi komutatorių tiekėjai, LPO nesuderinamas su jūsų aplinka. Jei naudojate vieno-tiekėjo AI klasterį, tai gali būti išmaniausias galimas naujinimas, todėl tikimės, kad iki 2027 m. vidurio turėsime paruoštus LPO{16}}modulius.
Ką reiškia 800G šiluminės ribos renkantis modulį
800 G šiluminė matematika užklumpa žmones netikėtai. Didelės spartos optinio sujungimo galios tankis šioje kartoje sukuria problemų, kurių tiesiog nebuvo 400 G. 64 prievadų jungiklis, pilnai pakrautas su 800 G moduliais, kurių galia yra 16 W, vien tik siųstuvo-imtuvo energijos suvartoja maždaug 1 kW, o pats jungiklis ASIC 400–500 W. Tai yra 1,4–1,5 kW vienam jungikliui. Aštuoni jungikliai viename stuburo sluoksnyje suteikia daugiau nei 11 kW vien tik iš tinklo įrangos, stovuose, kurie dažnai buvo numatyti 8–10 kW bendrai galiai.
„Juniper Networks“ aiškiai įspėja, kad trečiųjų šalių moduliai, naudojantys didelį energijos suvartojimą, ypač nuoseklūs ZR ir ZR+ tipai, gali sukelti terminės prieglobos įrangos pažeidimus, o atsakomybė tenka naudotojui. („Juniper Networks 800G Optics“ DUK) Tai nėra argumentas prieš trečiųjų šalių{0}}optinius modulius. Tai argumentas, leidžiantis tiksliai žinoti, ką prijungiate. Atlikdami terminio ciklo kvalifikaciją, kiekvieną 800G modulio konstrukciją išbandome esant pastoviai 85 laipsnių sandūros temperatūrai 2000 valandų ir stebime lazerio poslinkio srovės poslinkį kaip pagrindinį senėjimo indikatorių. Įrenginiai, kurie dreifuoja virš 38 mA, ištraukiami iš gamybos linijos. Esant 800 G tankiui, skirtumas tarp modulio brėžinio 14W ir vieno brėžinio 18W lemia, ar stovas lieka šiluminiame apvalkale, ar suaktyvina išjungimo pavojaus signalus 2 val. Klaidingos specifikacijos visada erzino. Esant tokiam galios lygiui, tai brangu.
Siunčiame prijungiamus modulius nuo 1G SFP iki 800G OSFP ir testuojame su pagrindinėmis perjungimo platformomis. Mes registruojame, kas veikia, o kas ne. Jei jums reikia patikrinti suderinamumą su konkrečia jungiklio aplinka arba reikia šiluminės ir galios-klasės specifikacijų didelio-tankio 800G stelažams, mūsų inžinieriai tuos pokalbius vykdo kiekvieną savaitę. Mūsų800G OSFP ir QSFP{1}}DD800 siųstuvo-imtuvo puslapisturi specifikacijas, pasiekiamumo{0}}klasės parinktis ir užklausų formų pavyzdžius kiekvienam mūsų siunčiamam moduliui.