800G siųstuvo-imtuvo technologija: OSFP prieš QSFP-DD800

Tinklo komanda, kurią palaikome, praėjusį ketvirtį įdiegė trisdešimt{0}}du QSFP-DD800 DR8 modulius naujame pagrindiniame jungiklyje. Kiekvienas prievadas išlaikė laboratorinį BER testą standartinėje stendo temperatūroje. Tada jie pakrovė visus 32 gamybos srauto prievadus visu stelažo tankiu, o korpuso temperatūra per keturiasdešimt minučių peržengė 80 laipsnių. Pagrindinė priežastis nebuvo modulio defektas. Tai buvo šiluminis biudžetas, pagrįstas duomenų lape tipine 14 W galia vienam prievadui, o faktinis energijos suvartojimas esant nuolatinei apkrovai siekė 17–19 W. 19 W per 32 prievadus šis jungiklis bandė atmesti daugiau nei 600 vatų šilumos vien tik iš optikos. Dėl šios spragos 800G siųstuvo-imtuvo technologijos pasirinkimas tampa sistemos inžinerijos problema, o ne specifikacijų lapo užduotimi.

 

Pagrindinė priežastis nebuvo modulio defektas. Tai buvo šiluminis biudžetas, pagrįstas duomenų lape tipine 14 W galia vienam prievadui, o faktinis energijos suvartojimas esant nuolatinei apkrovai siekė 17–19 W. 19 W per 32 prievadus šis jungiklis bandė atmesti daugiau nei 600 vatų šilumos vien tik iš optikos. Dėl šios spragos 800G siųstuvo-imtuvo technologijos pasirinkimas tampa sistemos inžinerijos problema, o ne specifikacijų lapo užduotimi.

 

Kurią perjungimo platformą diegiate, kaip sukurta jūsų aušinimo infrastruktūra, ar jūsų audinys veikia „InfiniBand“, ar „Ethernet“, ar jūsų planas apima 1,6T per trisdešimt{1}}šešis mėnesius: nė vienas iš šių kintamųjų nerodomas modulio duomenų lape ir visi jie nustato, ar OSFP ar QSFP{2}}DD800 yra tinkamas diegimo formos veiksnys.

 

 

Šiluminė erdvė: skirtumas tarp specifikacijų lapo ir jungiklio važiuoklės

 

Įprasta pramonės pozicija yra ta, kad OSFP siūlo geresnes šilumines charakteristikas, nes korpusas yra fiziškai didesnis. 13,13 mm OSFP korpuso aukštis, palyginti su 8,5 mm QSFP-DD, reiškia, kad radiatoriaus kontaktų plotas yra maždaug dvigubai didesnis, o 800G koherentinei optikai, kuri traukia 25 W ar daugiau, papildomas tūris yra griežtas reikalavimas, o ne pirmenybė.

Šis vaizdas pasikeičia, kai žiūrite į sistemos{0}}vėsinimo, o ne modulio{1}}lygio pakuotę. „Cisco“ viešai demonstravo 1RU 25.6T QSFP-DD800 važiuoklę, kuri išsklaido 30 W vienam moduliui visuose prievaduose, gerokai daugiau nei bet kuris dabartinis DR8 arba FR4 siųstuvas-imtuvas ([Cisco]). Tinkamos aušintuvo geometrijos ir ventiliatoriaus kreivės dizainas QSFP-DD800 vokas su ribinėmis savybėmis atlaiko šiuolaikinius galios lygius. Ar jis susidoros su rytojaus reikalais, priklauso nuo to, kur galios kreivėje atsiduria nuoseklūs prijungiamieji elementai ir LPO, o daugumoje palyginamųjų straipsnių ši analizės dalis praleidžiama.

 

Kvalifikacijos proceso metu atliekame abu formos veiksnius atlikdami terminio sumažinimo patvirtinimą, išbandydami visą prievadų skaičių platformose, įskaitant Arista 7800-serijos ir Cisco 8000{5}}serijos važiuokles. Mūsų patirtis rodo, kad korpuso temperatūra esant apkrovai labiau koreliuoja su jungiklio pardavėjo oro srauto architektūra, nei su tuo, ar modulis yra OSFP, ar QSFP-DD. OSFP modulis prastai vėdinamoje važiuoklėje gali veikti karštiau nei QSFP-DD800 važiuoklėje, sukurtoje didelės galios optikai. Mes tai matėme iš pirmų lūpų. Norėdami giliau pažvelgti į tai, kaip modulio galia veikia bendrą stovo šiluminį planavimą, mūsų [optinių siųstuvų-imtuvų energijos suvartojimo tendencijų analizė]daugiau pateikiami skaičiai.

 

OSFP Top Variant Trap

 

Pirkėjų komandos, pirmą kartą užsakančios 800G OSFP modulius, dažniausiai orientuojasi į optinį tipą (DR8, SR8, FR4) ir pasiekiamumą. Mechaninis variantas retai patenka į pirkimo užsakymo kontrolinį sąrašą, todėl atsiranda brangių klaidų. OSFP pristatomas trijų fizinių formų: Finned Top (IHS) su integruotais aliuminio aušinimo briaunomis jungikliams, Plokščias viršus (RHS) su lygiu paviršiumi, skirtas NIC aušintuvams, ir Closed Top kaip hibridas, randamas konkrečiose Cisco platformose. Jie nekeičiami.

 

 

Suderinamumas yra mechaninis, o ne optinis. 800G OSFP su „Finned Top“ ir „Flat Top“ gali turėti identiškas optines specifikacijas, vienodus bangos ilgius, vienodus pasiekiamumo įvertinimus, o „Finned Top“ fiziškai netilps „ConnectX-7“ narve. Praėjusiais metais apdorojome grąžinimą, kuriame sistemos integratorius užsakė 200 vienetų „Finned Top OSFP“, skirtą diegimui, kuriame buvo tik RHS NIC. Kiekvienas modulis buvo optiškai tobulas. Nė vienas iš jų netinka.

 

Koks geriausias variantas veikia kurioje įrangoje, patikriname per EEPROM kodavimo procesą. FB-LINK OSFP moduliai pristatomi su konkrečia platformos-konfigūracija, patvirtinta pagal tikslinį jungiklį arba NIC. „Cisco“, „Arista“, „Juniper“, „Dell“, „HPE“ ir „NVIDIA/Mellanox ConnectX“ platformos yra mūsų patikrintoje suderinamumo matricoje. Jei užsakymo metu pateikiate važiuoklės modelį ir programinės aparatinės įrangos versiją, IHS/RHS klausimą išspręsime, kol tai netaps logistikos problema.

 

QSFP{0}}DD800 turi struktūrinį pranašumą pirkimų komandoms, valdančioms kelių tiekėjų aplinkas. Yra viena fizinė forma. Jis tinka kiekvienam QSFP-DD narvui, senam keturias kartas, nuo [QSFP28–QSFP56–400G QSFP-DD]. Nėra dviprasmiško geriausio varianto, jokių suderinamumo su narveliais išnašų. Organizacijoms, kurios naudoja mišrius komutatorių tiekėjus keliose patalpose, toks vienodumas žymiai sumažina pirkimo klaidų skaičių.

 

Kaip LPO keičia formos koeficiento lygtį

 

Iki 2024 m. OSFP galios argumentas buvo aiškus: tradiciniame 800G modulyje esantis DSP pats sunaudoja 6–8 vatus, todėl bendra modulio galia viršija 14 W, o kartais ir viršija 20 W. OSFP aukštesnės šiluminės lubos tai atitiko. Kai nustatome DSP{8}}pagrįstus modulius, skirtus stuburo dislokavimui visu tankiu, pirmas patikrinamas apribojimas yra už-prievado šiluminė nuolaida, o ne optinis biudžetas.

 

Linijinė prijungiama optika visiškai pašalina DSP iš modulio, perkeldama signalo kondicionavimą į jungiklio ASIC SerDes

. Rezultatas yra LPO moduliai, kurių galia mažesnė nei 8,5 W, o tai yra maždaug pusė DSP-pagrįstų ekvivalentų galios ([OIF]). Esant tokiam galios lygiui, QSFP-DD800 12 W šiluminės lubos nustoja būti ribojamos ir pradeda būti tinkamos. Terminis argumentas, kuris istoriškai buvo palankus OSFP, labai susilpnėja, kai į paveikslą patenka LPO.

 

Šiandien ne visos jungiklių platformos palaiko linijinį vairavimo režimą, o jų skaičius yra mažesnis, nei gali pasiūlyti pardavėjo pranešimai. Patvirtinome konkrečius ASIC{1}}modulių derinius, skirtus LPO veikimui, o kai kurios platformos, kurios savo rinkodaroje teigia, kad yra parengtos LPO, dar neturi stabilaus programinės įrangos palaikymo. Jei vertinate 800G siųstuvo-imtuvo technologiją, skirtą AI tinklo medžiagai, o LPO yra plano dalis, klausimas yra ne „ar modulis veikia“, o „ar modulis veikia su mano konkrečiu jungiklio siliciu ir programinės įrangos versija“. Tą galime atsakyti dėl mūsų išbandytų platformų. Atsiųskite mums savo jungiklio modelį ir mes jums pasakysime, ar LPO yra perspektyvus, ar jums reikia DSP{6}}pagrįsto modulio tam lizdui.

 

Kai QSFP{0}}DD800 yra neteisingas pasirinkimas

 

Kiekvienas konkurento straipsnis baigiasi „tai priklauso nuo jūsų poreikių“. Čia mes būsime konkretesni.

 

QSFP{0}}DD800 yra netinkamas formos veiksnys, jei kuriate naują NVIDIA InfiniBand NDR arba XDR klasterį. „ConnectX-7“ ir „Quantum-2“ ekosistema sukurta remiantis OSFP. HCA prievadai yra OSFP. Komutatorių prievadai yra OSFP. NVIDIA kvalifikuotų optikos sąraše daugiausia yra OSFP. Privertus QSFP-DD į šią ekosistemą atsiranda papildomos adapterio sąnaudos, komplikuojasi tiekėjo palaikymas ir jūs patenkate už patvirtintos diegimo topologijos ribų. FB-LINK 800G OSFP moduliai buvo išbandyti su NVIDIA Quantum-2 NDR jungikliais ir ConnectX-7 adapteriais būtent dėl ​​šios priežasties: InfiniBand AI mokymo medžiagos visiškai netoleruoja sąveikumo dviprasmybių.

Sprendimas yra OSFP-RHS moduliai, suporuoti su šalto plokštės aušinimu, kai plokščias modulio paviršius per šiluminės sąsajos medžiagą tiesiogiai kontaktuoja su skysčio kilpa. Panardinamai-aušinamai aplinkai reikalingi hermetiškai sandarūs korpusai, chemiškai atsparūs dielektriniams skysčiams, kurių slėgis -ne mažesnis kaip 0,2 MPa pagal OSFP MSA nurodymus. Jei jūsų diegimas apima panardinamus stovus, prieš pateikdami apimties užsakymus įsitikinkite, kad jūsų modulio tiekėjo sandarinimo ir medžiagų specifikacijos atitinka šiuos reikalavimus.

 

Ir atvirkščiai, QSFP{0}}DD800 yra teisingas pasirinkimas ir dažnai akivaizdžiai pranašesnis, kai atnaujinate esamą 400G Ethernet lapų{3}}stuburo audinį. Atgalinis suderinamumas su QSFP28, QSFP56 ir 400G QSFP-DD narveliais reiškia, kad galite paleisti mišraus-greičio prievadus toje pačioje korpuse laipsniško perkėlimo metu. Jokių narvų keitimo, jokių adapterių kortelių, jokių kabelių įrenginių pakeitimų. Įmonės duomenų centre, kuriame veikia „Cisco“ arba „Arista“ eterneto komutatoriai su esama QSFP-DD infrastruktūra, QSFP-DD800 moduliai siūlo perėjimo kelią, kuris apsaugo ankstesnes investicijas.

 

Ką reiškia jūsų 800G sprendimas 1,6T

 

800G optinių modulių rinka iki šio dešimtmečio pabaigos išaugs maždaug trigubai, o LPO ir bendrai supakuota optika iki 2028 m. sudarys daugiau nei 30 % 800 G{4}}ir daugiauŠviesos skaičiavimas per Synopsys]). Jūsų šiandieninis formos faktoriaus sprendimas atitinka šią trajektoriją arba veikia prieš ją.

 

OSFP turi apibrėžtą naujovinimo kelią per OSFP-XD ir OSFP224 modulius, kurie tinka tai pačiai narvelio infrastruktūrai su laipsniškais mechaniniais pakeitimais. QSFP-DD prisijungia prie QSFP112, kuriame pateikiami savi suderinamumo klausimai. Jei jūsų organizacija planuoja 1.6T diegimą per 36 mėnesius ir kuria naują komutatorių infrastruktūrą, OSFP suteikia jums tiesioginį perėjimo kelią. Jei naudojate esamą QSFP-DD parką ir 1.6T yra 2028 m. ar vėlesnis pokalbis, QSFP-DD800 išvengia vidutinio-ciklo formos faktoriaus perėjimo, kuris brangiai kainuoja.

 

FB-LINK tiekia ir OSFP, ir QSFP-DD800 modulius visame 800G portfelyje: SR8, DR8, 2 × DR4, 2 × FR4 ir 2 × LR4 variantus. Mūsų moduliai yra patvirtinti platforma{13}}, užkoduoti pagal užsakymą jūsų konkrečiam jungikliui ir NIC ir pristatomi su aparatinės įrangos konfigūracijos bandymo ataskaitomis. Jei prieš įsipareigodami vykdyti apimties užsakymą turite patikrinti formos faktoriaus suderinamumą, šiluminį pritaikymą arba LPO palaikymą, [mūsų inžinierių komanda atlieka tą patvirtinimą nemokamai].

 

---

 

Parašė FB{0}}LINK optinės inžinerijos ir techninių pardavimų komanda, remiantis diegimo palaikymu įmonėse, didelio masto ir HPC sujungimo projektuose nuo 2012 m.