Duomenų ateitis: 400 g optinis modulis

 

 

Form Factor Wars Niekas apie tai nekalba nuoširdžiai

 

Užeikite į bet kurią optinio tinklo konferenciją ir išgirsite QSFP{0}}DD ir OSFP debatus, pateiktus kaip techninis palyginimas. Tai ne. Tai politinė kova, pasipuošusi specifikacijų lapais.

QSFP{0}}DD laimėjo kovą dėl garsumo prieš išsiunčiant pirmąjį 400G jungiklį. Atgalinis suderinamumas su QSFP28 narveliais reiškė, kad kiekvienas tinklo operatorius teoriškai galėjo atnaujinti neišardydamas esamos infrastruktūros. Tai „teoriškai“ sukelia sunkų kėlimą-Stebėjau, kaip inžinieriai ištisus savaitgalius praleidžia bandydami, kad pasenusi jungiklio programinė įranga atpažintų dvigubo-tankio modulius, kurie fiziškai tinka, bet netinkamai veikia elektra.

OSFP atkeliavo iš Aristos stovyklos su aiškiu žingsniu: didesnis modulis, geresni termofikatoriai, sukurti 400 G nuo nulio, o ne aštuonių juostų priverstinai į narvą, pastatytą keturiems. Integruotas aušintuvas išlaiko 15-20 vatų, nesumušdamas prakaito. QSFP-DD esant 12 vatų? Jau stumiamos šiluminės ribos diegiant didelio tankio.

Pramonė vis tiek pasirinko QSFP{0}}DD. Suderinamumas laimi. Visada turi.

Bet štai ko formos faktoriaus palyginimo straipsniuose niekada neužsimenama: šiluminės talpos skirtumai smarkiai susilieja esant dideliam mastui. 32-prievadų 400G jungiklis, pilnai užpildytas QSFP-DD moduliais, išsklaido maždaug 640 vatų vien iš optikos. Tai prieš jungiklį ASIC, valdymo plokštumą, ventiliatorius, maitinimo šaltinius. Mes kalbame apie 1,5–2 kilovatus 1RU važiuoklėje. Oro srauto inžinerija, reikalinga norint išlaikyti šiuos modulius žemiau sankryžos temperatūros ribų, riboja aviacijos ir kosmoso projektavimą.

 

PAM4 padarė viską sunkiau

 

Visi džiaugiasi, kad PAM4 padvigubino spektrinį efektyvumą. Niekas nemini jos sukurto inžinerinio košmaro.

NRZ buvo paprastas. Du įtampos lygiai. Signalas reiškia vienetą arba nulį. Jūsų akių diagramoje yra viena anga. Jei jis švarus, tu auksinis.

PAM4 perduoda du bitus vienam simboliui naudodamas keturis amplitudės lygius. Trys sukrautos akių angos. Kiekviena akis yra maždaug trečdalis lygiavertės NRZ akies aukščio. Triukšmo ribos griūva. Staiga kiekvienas PCB pėdsakų milimetras yra svarbus. Kiekvienas perėjimas sukuria atspindį. Kiekvienas varžos nutrūkimas tarp pagrindinio ASIC ir optinio modulio narvelio tampa patikimumo problema.

Šešis mėnesius praleidau derindamas 400G diegimą, kai konkrečiuose prievaduose atsirado atsitiktinių CRC klaidų. Pagrindinė priežastis? Šiek tiek-netinkama-prieglobos plokštės jungtis sukūrė tiek grąžinimo nuostolių, kad sugadintų žemiausią PAM4 akį. Puikiai tinka 100G srautui. Katastrofiška 400G.

Pramonės atsakymas buvo privalomas FEC. Negalite paleisti 400G PAM4 optikos be išankstinio klaidų taisymo-neapdorotas BER tiesiog viršija naudotinus slenksčius. RS(544,514) prideda maždaug 300 nanosekundžių delsos. Ne didžiulis. Tačiau pasakykite tai HPC klasteriui, vykdančiam MPI užduotis, kur kiekviena uodegos delsos mikrosekundė turi įtakos užduoties užbaigimo laikui.

 

 

Silicio fotonika turėjo mus išgelbėti

 

Silicio fotonikos aukštis puikiai skamba ant popieriaus. Pasinaudokite dešimtmečiais trukusiomis nuostabiomis CMOS investicijomis. Integruokite moduliatorius, fotodetektorius ir bangolaidžius į vieną lustą. Pasiekite masto ekonomiją, kurios atskiri InP ir GaAs komponentai niekada negalėjo. Energijos suvartojimas sumažėja 20-30%. Išlaidos ilgainiui pasiekia lygiavertiškumą, tada sumažėja tradiciniai metodai.

„Intel“ pristatė daugiau nei tris milijonus 100 G silicio fotoninių siųstuvų-imtuvų. Nuo 2020 m. „Alibaba“ savo debesų tinkle įdiegė 400 G DR4 silicio fotoninius modulius. Ši technologija veikia.

Tačiau silicio fotonika turi nešvarią paslaptį: šviesos šaltiniai vis tiek negali būti silicio.

Jums reikia išorinio lazerio -paprastai indžio fosfido štampo-, sujungto su silicio PIC arba sujungto per skaidulą. Ši hibridinė integracija padidina gamybos sudėtingumą. Nukenčia derlius. Sąnaudų pranašumas, kurį visi pažadėjo, vis išstumia kitą kartą.

Įmones, kurios dvigubai sumažina silicio fotoniką 400 G, yra keletas labai protingų žmonių, kurie labai brangiai stato. „Cisco“ įsigijo „Luxtera“ ir „Acacia“ iš viso sudarė 3,26 mlrd. Tai nėra MTTP biudžeto pinigai. Tai strateginės investicijos į infrastruktūrą.

Rinkos dalies duomenys pasakoja sudėtingesnę istoriją. „LightCounting“ duomenimis, nepaisant daugelio metų ažiotažo, silicio fotoniniai moduliai vis dar sudaro mažiau nei 10 % visų 400 G siuntų. Tradiciniai EML{4}}pagrįsti siųstuvai-imtuvai dominuoja DR4 ir FR4 programose. Technologijų perėjimas vyksta lėčiau, nei teigiama pranešimuose spaudai.

 

Ką slepia specifikacijų lapai apie pasiekiamumą

 

IEEE pavadinimų suteikimo 400G optikai atrodo naudinga, kol nebandysite iš tikrųjų nusipirkti modulių.

400 G-SR8: 100 metrų per daugiamodį šviesolaidį. Aštuonios lygiagrečios juostos 850 nm. Puikiai tinka jungtims- stovo viduje. Siaubinga dėl viso kito.

400 G-DR4: 500 metrų per vieno-modės skaidulą. Keturios lygiagrečios juostos ties 1310 nm. Daugumos duomenų centrų jungčių darbo arkliukas.

400G-FR4: 2 kilometrai, vienas-režimas, CWDM bangos ilgiai sutankinti vienoje skaidulų poroje. Naudoja brangius išoriškai moduliuotus lazerius.

400 G-LR4: 10 kilometrų. Ta pati bangos ilgio schema kaip ir FR4, bet su optiniu stiprinimu, siekiant išplėsti pasiekiamumą.

Pakankamai paprasta. Išskyrus atvejus, kai gamintojai nuolat žaidžia greitai ir laisvai su šiais pavadinimais.

Mačiau „su DR4 suderinamus“ modulius, kurie laboratorinėmis sąlygomis pasiekia 500 metrų, o 300 metrų sugenda su faktine pluošto gamykla, kurios jungtis prarado šiek tiek daugiau. Specifikacijose nurodyta, kad 500 metrų su 7 dB ryšio biudžetu. Matematika veikia puikiai, darant prielaidą, kad visur yra nesugadinti ryšiai. Realybėje yra nešvarių jungčių, netobulų sandūrų ir šviesolaidžių, kurių kelias per lubas buvo šiek tiek ilgesnis nei nurodyta kabelių valdymo brėžiniuose.

2 km FR4 pasiekiamumas skamba pakankamai, kol sujungiate pastatus miestelyje ir atrandate, kad šviesolaidžio kelias yra 2,3 kilometro. Dabar jums reikia LR4 modulių už tris kartus didesnę kainą, arba jūs kūrybiškai naudojate stiprinimą, arba sutinkate, kad ši nuoroda iš tikrųjų neveiks.

 

Sprendimas DR4 prieš FR4

 

Tai iš tikrųjų svarbu realiam diegimui ir niekas to gerai nepaaiškina.

DR4 naudoja keturis lygiagrečius pluoštus siuntimui ir keturis priėmimui. Iš viso aštuoni pluoštai. MPO-12 jungtis su keturiomis nenaudojamomis pozicijomis. Maksimalus siekimas 500 metrų. Energijos suvartojimas paprastai yra 8-10 vatų. Modulis kainavo maždaug 60% ekvivalento FR4.

FR4 naudoja bangos ilgio padalijimą, kad visos keturios juostos būtų sujungtos į vieną skaidulų porą. Dvipusis LC jungtis. Maksimalus pasiekiamas 2 kilometrai. Energijos suvartojimas paprastai yra 10-12 vatų. Aukščiausios kainos, nes EML lazeriai nėra pigūs.

Skaidulų topologija lemia viską.

„Greenfield“ duomenų centras su jūsų nurodytais struktūriniais kabeliais? Lygiagretus pluoštas turi prasmę. Paleiskite MPO magistralinius kabelius tarp eilučių. Naudokite DR4 visur. Mažesnė optikos kaina kompensuoja papildomą skaidulą.

Apleistos teritorijos aplinka su esama dvipusio pluošto gamykla? FR4 arba traukiate naują kabelį.

Mišri aplinka su kai kuriais lygiagrečiais paleidimais ir kai kuriais dvipusiais senais įrenginiais? Sveiki atvykę į suderinamumo košmarą. Galų gale turėsite abiejų tipų modulius, skirtingus jungčių stilius ir bent vieną spintelę, kurioje kažkas naudojo netinkamą pataisos laidą ir keturias valandas sugaišo trikčių šalinimui „nuorodų išjungimo“ įspėjimams.

 

Išsilaužimo klausimas

 

400G-DR4 modulyje yra keturios 100G juostos. Kiekviena juosta optiniame sluoksnyje veikia nepriklausomai. Tai leidžia perjungti-vieną 400 G jungiklio prievadą prijungti prie keturių atskirų 100 G įrenginių naudojant perjungimo skaidulų rinkinį.

Ekonomika skamba įtikinamai. Vienas 400G prievadas. Keturi 100G serveriai. Nereikia papildomų jungiklių prievadų.

Realybė yra sudėtingesnė.

Switch ASIC ne visada palaiko savavališkas pertraukų konfigūracijas. Kai kurioms platformoms reikalinga speciali programinė įranga. Kiti leidžia išsiveržti tik tam tikrose prievadų grupėse. Keletas aparatinės įrangos nutrūksta, tačiau programinės įrangos paketas nerodo konfigūracijos parinkties.

Dar blogiau: nutrūkę kabeliai sukuria palaikymo košmarus. Ar problema yra 400G modulyje, pertraukimo mazge ar viename iš keturių 100G įrenginio prievadų? Norint pašalinti triktis, reikia pakeisti laidus, atskirai išbandyti kiekvieną koją ir melstis, kad problema būtų atkurta.

Mačiau, kad organizacijos visur standartizuoja vietinį 100G, kad išvengtų sudėtingumo. Optika kainuoja brangiau. Nukenčia jungiklio prievado tankis. Tačiau laimi veikimo paprastumas.

 

 

Energijos suvartojimo realybė

 

Kiekviename 400G modulio duomenų lape nurodomas energijos suvartojimas. Skaičiai yra techniškai tikslūs ir praktiškai nenaudingi.

Įprasta QSFP-DD DR4 galia gali būti 8,5 vatai. Toks yra modulio brėžinys iš jungiklio 3,3 V bėgio įprastomis veikimo sąlygomis. Tai neapima papildomos galios, kurią jungiklis ASIC sunaudoja važiuodamas tomis aštuoniomis 50G PAM4 juostomis. Jame neatsižvelgiama į šilumos valdymą-galingesni ventiliatoriai, papildomas oro srautas, galbūt papildomas aušinimas.

Kai viename jungiklyje yra 32 prievadai, skirtumas tarp 8 vatų ir 12 vatų modulių padidėja iki 128 vatų. Tai nėra nereikšminga, kai planuojate energijos paskirstymą visai stelažų eilei.

Perėjus nuo 100 G prie 400 G energijos suvartojimas vienam prievadui nepadidėja keturis kartus-, tai padeda efektyvumo padidėjimas dėl integracijos ir DSP patobulinimų. Tačiau bendra galia vienam jungikliui visiškai padidėjo. Duomenų centrai, planavę elektros ir aušinimo infrastruktūrą maždaug 100 G tankio, atranda pajėgumų apribojimus, kai atnaujinama iki 400 G, esant visam gyventojų skaičiui.

 

Suderinamumas nėra dvejetainis

 

Pardavėjai mėgsta teigti, kad „suderinamas su visomis pagrindinėmis jungiklių platformomis“. Šis teiginys yra techniškai pagrįstas ir praktiškai klaidinantis.

Optinio modulio suderinamumas priklauso ne tik nuo fizinio tinkamumo ir elektros signalizacijos. DOM (skaitmeninio optinio stebėjimo) protokolai skiriasi tarp tiekėjų. CMIS (bendrosios valdymo sąsajos specifikacijos) diegimai turi pakankamai lankstumo, kad du „suderinami“ diegimai gali neveikti švariai. Kai kurie jungikliai tikrina pardavėjo ID kodus ir visiškai atsisako uždegti neatpažintus modulius.

Pilkoji „suderinamos“ 400G optikos rinka sprogo būtent todėl, kad prekės ženklo-pavadinimo moduliai kainuoja 3-5 kartus daugiau nei trečiųjų šalių alternatyvos. Kai kurios iš šių alternatyvų veikia nepriekaištingai. Kiti sukelia subtilių problemų, kurios pasireiškia tik esant tam tikram eismo modeliui arba po kelių savaičių.

Asmeniškai išbandžiau trečiosios šalies{0}}400G DR4 modulius, kurie laboratorijoje išlaikė kiekvieną atitikties matavimą, o tada išmetė nepataisomas FEC klaidas 2 % srauto esant gamybos apkrovai. Temperatūra modulio viduje esant nuolatiniam didelio pralaidumo{5}}pralaidumui viršijo tai, ką gali atlaikyti optiniai komponentai. Modulis veikė. Kol to nepadarė.

 

Ką 800G reiškia 400G

 

800G perėjimas jau vyksta. Hiperskaleriai šiandien diegia 800G. Likusi pramonės šaka atsiras per 18–24 mėnesius.

Tai nepasens 400G{1}}moduliai bus siunčiami daugelį metų,{2}}tačiau tai pakeis ekonomiką.

800G naudoja aštuonias 100G juostas vietoj aštuonių 400G 50G juostų. Ta pati PAM4 moduliacija, didesnis simbolių dažnis vienoje juostoje. Fizika darosi sunkesnė. Šiluminiai apvalkalai stumia link 20–25 vatų vienam moduliui. OSFP šiluminės erdvės pranašumas tampa aktualesnis esant šiems galios lygiams.

Dar svarbiau, kad 800G moduliai gali išsiskirti į dvi 400G konfigūracijas. Vienas 800G-2xDR4 modulis turi dvi nepriklausomas 400G nuorodas. Aplinkose, kurioms taikomi mišrūs 400 G ir 800 G reikalavimai, ši pertraukimo galimybė supaprastina atsargų valdymą.

Duomenų centrų operatoriai, su kuriais kalbu, dažniausiai laikosi 400 G lapų{1}}stuburo ryšiui, o vertina 800 G GPU klasterių sujungimams, kur pralaidumo tankis yra svarbiausias. Dirbtinio intelekto mokymo darbo krūvis su visais-iki{5}}bendravimo būdais iš tikrųjų pabrėžia 400G ryšius taip, kaip niekada nebuvo tradicinis šiaurės-pietų srautas.

 

Bendras{0}}Optikos horizontas

 

Visi pramonės atstovai žino, kad ateina CPO. Optiniai siųstuvai-imtuvai, integruoti tiesiogiai su jungikliu ASIC. Iš viso nėra prijungiamų modulių. Energijos suvartojimas nukrenta nuo 15 pidžaulių bitui iki gal 5, galbūt mažiau nei 1 pidžauliai, kai technologija bręsta.

NVIDIA paskelbė apie 2025/2026 aparatinės įrangos CPO planus. Meta ir Microsoft pademonstravo prototipus. OIF standartizuoja sąsajas.

Klausimas ne tas, ar CPO įvyksta. Tai, ar tai įvyksta pakankamai greitai, kad būtų svarbu dabartiniam planavimo ciklui.

Mano skaitymas: daugumai diegimų dominuoja prijungiama optika bent 2028 m. CPO gali pasirodyti anksčiau pasirinktose hiperskalerio versijose. Karštai keičiamų modulių-lankstumas-gali pakeisti sugedusią optiką neišjungiant jungiklio-svarbu aplinkai be N+1 pertekliaus visur.

Šiandien suplanuokite prijungiamą 400G ir 800G. Biudžetas CPO vertinimui per trejus metus. Neleiskite pardavėjo planų skaidrėms pagreitinti laiko juostų, kurių gamybos realybė negali palaikyti.

 

Praktiniai patarimai, kurie iš tikrųjų padeda

 

Naujos versijos: standartizuokite DR4 su lygiagrečia šviesolaidžio infrastruktūra. Sutaupoma daugiau nei FR4, naudojant tūkstančius modulių. Vienam moduliui suplanuokite 10 vatų galią ir aušinimą, net jei specifikacijose žadama 8.

Norėdami atnaujinti: įkyriai patikrinkite esamą pluošto gamyklą. Žinokite faktinius išmatuotus nuostolius kiekviename segmente. Atraskite 400 metrų DR4 apribojimų pažeidimus prieš atvykstant optikoms.

AI klasteriams: 800G jau yra teisingas atsakymas. Pralaidumo reikalavimai pateisina priemoką. Nepereikite į 400 G pusę-, jei jūsų darbo krūvis jį išaugs per 18 mėnesių.

Visiems: prieš diegdami garsumą, atidžiai išbandykite trečiosios šalies{0}}optiką. Išlaidų sutaupymas yra realus. Taip pat ir nesėkmės. Patvirtinkite savo konkrečias perjungimo platformas esant realiai apkrovai prieš skirdami atsargų dolerius.

Technika veikia. Dvidešimt milijonų 400G ir 800G modulių 2024 m. buvo išsiųsta ne veltui. Tačiau pereinant nuo 100G reikia atkreipti dėmesį į detales, kurias patogu praleisti specifikacijų lapuose ir rinkodaros medžiagoje. Fizikai nerūpi jūsų diegimo laiko juosta.