400G optiniai moduliai šiuolaikiniuose tinkluose

 

„Form Factor Wars“ niekas nelaimėjo

 

QSFP-DD ir OSFP atsirado po standartų nustatymo kaip du broliai ir seserys, kurie negalėjo susitarti dėl nieko, išskyrus tai, kad jie abu norėjo 400 G. Pramonei reikėjo aštuonių elektros juostų po 50 Gbps, o du skirtingi konsorciumai nusprendė šią problemą išspręsti dviem skirtingais būdais.

QSFP{0}}DD laimėjo suderinamumo argumentą. Jis tinka esamiems QSFP28 narvams, jei pakankamai stipriai prisimerkia ir neprieštaraujate antrajai kaiščių eilei. Atgalinis suderinamumas yra svarbus, kai turite dešimtis tūkstančių įdiegtų uostų ir finansų direktorių, kuris užduoda konkrečius klausimus apie persekusį turtą.

OSFP laimėjo terminį argumentą. Šiek tiek didesnis korpusas ir integruotas aušintuvas reiškia, kad iš tikrųjų galite išsklaidyti 15-20 vatų, kuriuos šie moduliai sunaudoja, nekaitindami gretimų prievadų. Mačiau linijų korteles, kuriose kampiniai QSFP-DD prievadai nuolat veikia 8 laipsniais karščiau nei viduriniai, nes oro srauto konstrukcija numatė 100 G galios apvalkalus.

Nei tikrai nelaimėjo. Daugelis hiperskalerių naudojo QSFP-DD, kad būtų supaprastintas inventorius. Dauguma telekomunikacijų diegimų buvo pritaikyti OSFP, nes jų nuosekliems moduliams reikėjo šiluminės erdvės. Visi kiti išsirinko tai, ką siųsdavo jungiklių pardavėjas, ir nuėjo toliau.

QSFP112 variantas nusipelno paminėjimo, nes jis visus klaidina. Keturios 100 G juostos-tas pats 400 G, mažiau juostų, naujesni SerDes. NIC ryšiui svarbu, kur norite serverio-į-TOR nuorodų be DSP pavarų dėžės sudėtingumo. Tai mažiau svarbu, nei pardavėjai teigia kitur.

 

PAM4 viską pakeitė (ir sulaužė keletą dalykų)

 

Štai ko niekas tinkamai nepaaiškina, kai jums parduoda 400G: PAM4 signalizacija pakeičia atsparumą triukšmui pralaidumo efektyvumu, o šis kompromisas nėra nemokamas.

NRZ kodavimas naudojo du signalo lygius. Aukštas arba žemas. Vienas arba nulis. Jūsų imtuvui tiesiog reikėjo atskirti šias dvi būsenas, o akių diagrama suteikė jums patogias paraštes. PAM4 naudoja keturis lygius-00, 01, 10, 11-o tai reiškia, kad jūsų imtuvas dabar turi atskirti tris slenksčio kirtimus, kurių įtampos skirtumas yra trečdalis. Teorinė 9,54 dB SNR bauda nėra teorinė. Jis rodomas jūsų išankstiniuose FEC BER skaitikliuose kiekvieną dieną.

400G modulyje esantis DSP atlieka didvyrišką darbą, kompensuodamas tai. Tiekimo-išlyginimas pirmyn, sprendimų grįžtamojo ryšio išlyginimas, laikrodis ir duomenų atkūrimas-visi veikia 53 125 GBaud vienoje juostoje. Kai jis veikia, jis yra nematomas. Kai jis neveikia, gausite taisomų klaidų, kurias retkarčiais išskiria nepataisomos klaidos, ir sėkmės išsiaiškinti, ar problema yra jūsų modulyje, skaiduloje, pagrindiniame kompiuteryje, ar kosminėje foninėje spinduliuotėje.

 

 

Bangos ilgio variantai: daugiau nei tiesiog pasiekiamumas

 

Pasiekiamumo specifikacijos pasakoja tik dalį istorijos.

400G-SR8 naudoja 850 nm VCSEL per aštuonis lygiagrečius pluoštus, nukreiptus į 100 metrų virš OM4. Tai pigu. Tai daugiamodis. Tam reikia MPO-16 jungties su aštuoniais TX ir aštuoniais RX pluoštais. Stovo viduje arba tarp gretimų stelažų tai veikia gerai. Tą akimirką, kai kas nors paklaus, ar jį paleisti „šiek tiek toliau“, priminkite, kad modalinė dispersija esant 850 nm bangos ilgiui nesiderina.

400G-DR4 veikia 1310 nm per keturias lygiagrečias vieno-modės skaidulas, skirtas 500 metrų. MPO-12 jungtis naudoja aštuonis išorinius pluoštus ir palieka keturis nepanaudotus{11}}faktas, kuris suklaidina kabelių montuotojus maždaug kartą per diegimą. DR4 tapo vienu režimu veikiančių įrenginių lapų{12}stuburo ryšio darbiniu arkliu, nes 500 metrų apima daugumą duomenų centrų geometrijų ir lieka vietos.

400G-FR4 naudoja CWDM4 bangos ilgius (1271, 1291, 1311, 1331 nm), sutankintus į vieną skaidulų porą per dvipusį LC. Du kilometrai pasiekiami. Čia 400G pradeda jaustis ekonomiškai jungiantis miestelius, nes tarp pastatų netraukiate aštuonių{11}}pluošto MPO kamienų.

400G-LR4 išplečia tą patį CWDM4 atstumą iki 10 kilometrų su didesne paleidimo galia ir geresniais imtuvais. Kainų šuolis nuo FR4 iki LR4 vis dar stebina viešųjų pirkimų skyrius, kurie neatnaujino savo mąstymo modelio nuo 100G-LR4 kainodaros.

 

Darnus dramblys

 

400G-ZR nusipelno atskiro skyriaus, nes jis atstovauja iš esmės skirtingą technologiją, aprengtą ta pačia forma.

Viskas, ką iki šiol aprašiau, naudoja tiesioginio{0}}aptikimo optiką. Šviesa patenka, fotodiodas ją konvertuoja, DSP išvalo. Nuosekli optika koduoja informaciją tiek amplitude, tiek faze per dvi poliarizacijas vienu metu, tada naudoja vietinį osciliatorių ir sudėtingą skaitmeninį signalo apdorojimą, kad atkurtų viską imtuve. Rezultatas: 400 Gbps daugiau nei 120+ kilometrų nestiprinto šviesolaidžio prijungiamame modulyje.

OIF 400ZR standartas nurodo 16QAM moduliaciją esant 60 GBaud su dviguba poliarizacija. Sujungtas FEC (soft{4}}decision inner Hamming, hard{5}}decision exter staircase) suteikia apie 10,8 dB grynojo kodavimo stiprinimo. Visa tai sunaudoja 15-20 vatų ir generuoja šilumą, dėl kurios QSFP-DD modulis verktų.

Mačiau ZR modulius įmontuotus į jungiklius, kurie nebuvo skirti tokiai šiluminei apkrovai. Jungiklio važiuoklė pranešė apie normalią temperatūrą, nes jos įsiurbimo jutikliai matavo vėsų orą. Modulis pranešė apie 73 laipsnius, nes buvo įterptas tarp dviejų kitų ZR modulių, kurių oro srautas buvo netinkamas. Nuoroda veikė-vos{5}}su padidėjusiais FEC pataisymais, kurių niekas nepastebėjo, kol išankstinis-FEC BER neviršijo slenksčio ir pradėjo mažėti paketai.

ZR+ ​​ir MZR variantai padidina pasiekiamumą sąveikumo kaina. Pardavėjo-konkretūs paleidimo galios, imtuvo jautrumo ir FEC algoritmų patobulinimai gali pratęsti ryšius daugiau nei 400 km, bet jūs perkate sprendimą, o ne prekę.

 

 

Trečiosios šalies{0}}klausimas

 

Aš turėjau šį pokalbį maždaug šešis šimtus kartų.

„Ar galime naudoti trečiosios šalies{0}}400G optiką?

Techniškai taip. MSA specifikacijos sukurtos būtent tam, kad įgalintų kelių{1}}tiekėjų sąveiką. Suderinamas X gamintojo QSFP-DD turėtų veikti taip pat, kaip ir Y gamintojo. IEEE standartai apibrėžia optinius ir elektrinius parametrus. CMIS (bendra valdymo sąsajos specifikacija) standartizuoja, kaip pagrindinis kompiuteris kalbasi su moduliu.

Praktiškai tai priklauso.

„Cisco“ autentifikavimo mechanizmai išsivystė nuo senesnių platformų senesnių platformų „klaida{0}}išjungti prievadą“ iki sudėtingesnio tiekėjo patvirtinimo, kuris registruoja įspėjimus, bet nebūtinai išjungia funkcijas. Paslauga nepalaikoma-siųstuvo-imtuvo komanda išlieka pabėgimo liukas. Arista linkusi būti leistinesnė, bet atsisako palaikyti problemas, kurios gali kilti dėl trečiųjų šalių modulių. Juniper pozicija skiriasi priklausomai nuo platformos ir programinės įrangos versijos, todėl reikia pasikonsultuoti su jų suderinamumo matricomis.

Nedvejodamas naudoju{0}}trečiosios šalies optiką laboratorijos aplinkoje. Gamybos maršrutams, kuriuose srautas gaunamas 2 val. nakties, kai kas nors nepavyksta? Noriu, kad galėčiau paskambinti TAC ir kad jie iš tikrųjų padėtų, o ne iškart nukryptų į „pakeisti palaikomais siųstuvų-imtuvais“.

Išlaidų matematika pakeičia šį skaičiavimą hiperskaluotojams, kurie perka modulius dešimtimis tūkstančių ir samdo optikos inžinierius, galinčius savarankiškai apibūdinti ir kvalifikuoti tiekėjus. Tai kitokia matematika įmonėms, perkančioms šimtus modulių per platinimo kanalus su ribotais techniniais ištekliais.

 

Šiluminė realybė

 

400 G QSFP-DD modulis sunaudoja 10–15 vatų, priklausomai nuo varianto ir pardavėjo. 400G koherentinis ZR modulis sunaudoja 15-20 vatų. 800G QSFP{11}}DD800 modulis-jau įdiegtas dirbtinio intelekto grupėse – sunaudoja 18–25 vatus.

Įdėkite 64 iš jų į 2RU jungiklį ir turėsite 640 vatų tik iš optikos, prieš apskaičiuodami jungiklį ASIC, atmintį, ventiliatorius ir maitinimo šaltinius. Šilumos projektavimo problema per vieną kartą perėjo iš „adekvačios“ į „kritinę“.

Kvalifikacijos testo metu stebėjau, kaip terminio vaizdo kamera nuvalė visiškai{0}}pakrautą 400 G stuburo jungiklį. Karščiausi moduliai nebuvo tokie, kokių tikėjotės. Kampinės pozicijos, esančios pavėjui nuo ASIC išmetimo vamzdžio, buvo karštesnės nei priekinės-plokštės centriniai moduliai, į kuriuos patekdavo gryno oro. Standartiniai DDM temperatūros rodmenys rodė 17 laipsnių pasiskirstymą tarp prievadų, kurie tariamai buvo identiški.

Modulio specifikacijos žada veikti nuo 0 iki 70 laipsnių, tačiau našumo kreivės 70 laipsnių kampu neatrodo taip pat, kaip 25 laipsnių kampu. Lazerio slenkstinė srovė didėja. Sumažėja šlaito efektyvumas. Bangos ilgio poslinkis{7}}o CWDM4 ir DWDM sistemose bangos ilgio poslinkis reiškia skersinį ryšį su gretimais kanalais.

Oru{0}}aušinamos sistemos artėja prie savo ribų. Skystis jungiklių aušinimas išlieka egzotiškas, bet vis labiau reikalingas AI/ML klasteriams, kur GPU ir optika konkuruoja dėl to paties šiluminio biudžeto.

 

 

Tikrybių išbandymas

 

IEEE standartai apibrėžia atitikties taškus. Jie negarantuoja, kad jūsų konkreti nuoroda veiks.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) yra PAM4 atitikmuo OMA (optinės moduliacijos amplitudė), bet sudėtingesnis. Bandoma apibūdinti siųstuvo kokybę taip, kad būtų galima numatyti imtuvo veikimą. Matavimui reikalingi etaloniniai imtuvai ir matematinės transformacijos, kurios skiriasi tarp bandymo įrangos pardavėjų taip, kad sukelia nesibaigiančius standartų komiteto debatus.

Išankstinis-FEC BER testavimas yra svarbesnis nei bet kada anksčiau. Jūsų bitų klaidų-pirštų atspaudas-atsitiktinės ir serijinės, tolygiai paskirstytos ir koncentruotos tam tikruose PAM4 simboliuose- nulemia, ar jūsų FEC iš tikrųjų gali jas ištaisyti. Tikros atsitiktinės klaidos puikiai veikia naudojant Reed-Saliamon kodus. Serijos klaidos dėl laikrodžio atkūrimo problemų arba netinkamo DSP veikimo gali priblokšti FEC, net jei neapdorotas BER atrodo priimtinas.

Išmokau reikalauti išankstinės-FEC statistikos iš kiekvienos 400G nuorodos, o ne tik paskelbti-FEC. Nuoroda, rodanti 0,00 įrašo-FEC BER, kai vykdomas išankstinis-FEC BER esant 2 × 10⁻⁴, atrodo puikiai, kol suprasite, kad beveik nebeliko maržos. Pridėkite šiek tiek nešvarią jungtį arba senstantį lazerį, ir ta jungtis be įspėjimo apvirs FEC skardžiu.

 

Jungties užteršimas

 

Esant 400 G užterštumo problema tampa opi. Modifikuota akis turi mažesnę maržą. Dalelės, kurios būtų buvusios nematomos esant mažesniam greičiui, dabar pakankamai susilpnėja, kad būtų svarbios.

Vienmodžio{0}}modo pluošto šerdys yra 9 mikrometrų skersmens. MTP/MPO-12 jungtis turi aštuonis aktyvius skaidulų kelius (keturis TX, keturis RX) ir keturis nenaudojamus. Kiekvienas poravimosi ciklas rizikuoja užsikrėsti. Kiekvienas užterštas galas gali prarasti įterpimą, o tai sumažins jūsų nuorodos biudžetą.

Reikalinga valymo disciplina yra ne{0}}derėtina, tačiau retai jos nuosekliai laikomasi. Vieno-spustelėjimo valikliai, sausos servetėlės ​​su statiniais rūpesčiais, šlapias valymas izopropilo alkoholiu, kurį reikia nedelsiant sausai nušluostyti, o ne leisti išgaruoti-kiekvienas metodas turi šalininkų ir kritikų. Dėl ko visi sutaria: prieš jungdami apžiūrėkite šviesolaidžiu, o jei jis nešvarus, nuvalykite ir apžiūrėkite dar kartą.

Stebėjau, kaip diegimo komanda visą popietę šalino triktis naudojant 400G-DR4 nuorodą. Kelių modulių keitimas. Konfigūracijos apžvalgos. Galiausiai sulaužė apžiūros apimtį ir ant pertvaros adapterio rado statybinių šiukšlių, kurių niekas negalvojo patikrinti. Dvidešimt sekundžių su valymo įrankiu ištaisė tai, ko keturių valandų trikčių šalinimo nepavyko.

 

 

Ką visa tai reiškia planuojant

 

Jei šiandien diegiate naują duomenų centro audinį, 400G yra stuburo sluoksnio ir vis dažniau lapų{1}}stuburo nuorodų bazė. Vieno bito kaina sumažėjo iki 4 × 100 G išjungimo iš 400 G modulio dažnai pigiau nei atskiri 100 G moduliai. DR4 viskam, kas yra daugiau nei 30 metrų pastato viduje. FR4 universiteto miestelių sujungimams. LR4 arba ZR, jei pasiekiate tarp svetainių.

Jei esate įmonė, planuojanti pirmą kartą įdiegti 400G, perjungimo platformos jau subrendo, modulio tiekimo grandinė stabilizavosi, o kainodarai nebereikia pasirašyti kiekvieno pirkimo užsakymo vadovo. Pradėkite nuo lapų-stuburo atnaujinimo, įrodykite, kad jūsų kabelių infrastruktūra gali atlaikyti didesnę užterštumo toleranciją, ir supraskite, kad jūsų valdymo įrankiai turi pradėti rinkti FEC statistiką, kol jums jos iš tikrųjų prireiks.

Jei skaitote tai hiperskaluotojas, jau turite daugiau nei 400 G GPU klasterių ir galvojate, kaip iš tikrųjų bus įdiegta 1.6T. Sėkmės sprendžiant šilumines problemas; Aš perskaitysiu tavo laikraščius po dvejų metų.

Patys moduliai tapo nepaprastai patikimi. Problemos kyla visur kitur: užterštos jungtys, netinkamai sukonfigūruoti FEC režimai, šiluminės konstrukcijos, kurios prisiėmė vakarykštį maitinimo bloką, ir paramos organizacijos, kurios vis dar mokosi pašalinti PAM4 signalo vientisumo problemas. Nepaprasti pagrindai-valo jūsų jungtis, matuoja temperatūrą, supranta jūsų FEC biudžetą-svarbesni nei kada nors bus diskutuojama apie specifikacijas.