為什么說，GPU直接輸出光信號、CPO光電共封將在中國更快落地？

今年GTC開發(fā)者大會之上，NVIDIA發(fā)布了名為NVIDIA Photonics的CPO（共封裝光學）交換芯片，預計下半年就要用到其Quantum-X Photonics交換機之中；同時博通Tomahawk 6交換芯片大火，單芯片達成的交換容量可達102Tbps——且同時支持可插拔光模塊和CPO...

加上AI數(shù)據(jù)中心市場持續(xù)火熱，CPO顯然成為時下的熱議話題。《電子工程專輯》雜志9月刊封面故事將以CPO為題，談?wù)劰馔ㄐ偶夹g(shù)在數(shù)據(jù)中心領(lǐng)域的應(yīng)用和發(fā)展情況。

在最近的WAIC世界人工智能大會上，曦智科技就和燧原科技合作，推出了國內(nèi)首款xPU-CPO光電共封裝原型系統(tǒng)——和前述數(shù)據(jù)交換端的應(yīng)用不同，這是在GPU算力端的光電共封裝，雖然只是個“原型系統(tǒng)”，亦表現(xiàn)出CPO技術(shù)在AI數(shù)據(jù)用心應(yīng)用的前景。

除此之外，曦智科技還展示了光互連光交換芯片，和基于這顆芯片的“全球首個分布式光互連光交換GPU超節(jié)點解決方案”光躍LightSphere X。基于這兩項展示，我們大致能從中窺見曦智科技眼中，乃至整個AI算力市場，光通信技術(shù)將發(fā)揮的潛在價值——畢竟當所有人都在WAIC上談?wù)?ldquo;萬卡計算”“超節(jié)點”這類話題時，更高效的光互連、光交換芯片與方案會越來越成為剛需。

“xPU-CPO光電共封裝”的技術(shù)價值

有關(guān)為什么要發(fā)展CPO的問題，電子工程專輯在過去談NVIDIA Photonics的文章里已經(jīng)有過闡述：簡單來說，巨量參數(shù)規(guī)模的AI大模型訓練和推理并不是單張顯卡或AI加速卡能完成的——AI計算的跨芯片、跨板卡、跨節(jié)點是必然。

是德科技在前不久的媒體活動上談到，對于某特定AI集群，在做ViT模型這類AI CV類負載時，GPU真正工作的時間只占到36%左右，其他絕大部分時間都在等待數(shù)據(jù)傳輸，表現(xiàn)出較高的算力閑置率。雖然對于不同數(shù)據(jù)和參數(shù)量的模型、不同類型的負載、不同規(guī)模的算力資源而言，這個數(shù)值不盡相同，但它大致能說明數(shù)據(jù)通信的確是AI集群運作的瓶頸。即便是已經(jīng)廣泛應(yīng)用的可插拔光模塊，其延遲、功耗在萬卡級別的算力集群之下也相當可觀的。

曦智科技期望在萬億參數(shù)規(guī)模AI模型計算場景下，基于CPO光電共封裝技術(shù)“降低至少1倍的閑置率”。CPO的實質(zhì)是令原本的光模塊離主芯片更近了：曦智科技創(chuàng)始人、首席執(zhí)行官沈亦晨博士在最近的媒體會上說，對于可插拔光模塊而言，“光電轉(zhuǎn)換芯片離GPU距離遠”，尤其當它位于交換機之中，“和GPU之間至少有1m以上的銅導線距離”。

所以在近封裝/板載光學（NPO/OBO）解決方案中，“光電轉(zhuǎn)換芯片直接放在了板卡上，距離從1m縮短到10cm，互聯(lián)密度提高了2-3倍。如果把DSP芯片也去掉，還能減少與GPU之間的通信延遲。”這是目前曦智科技已經(jīng)全面商用落地的解決方案。

如果將這種光電轉(zhuǎn)換芯片與數(shù)字主芯片靠得更近，將二者放到同一個封裝內(nèi)，就構(gòu)成了CPO芯片。兩片chiplet距離“縮短到1mm”，“進一步增加互連帶寬、降低傳輸延遲。”也就有了交換芯片與硅光引擎封裝在一起的NVIDIA Photonics，以及曦智科技在WAIC上展示的、共封裝GPU與硅光芯片的“xPU-CPO光電共封裝原型”（下圖）。這兩者恰好對應(yīng)了交換機側(cè)與GPU側(cè)的CPO實現(xiàn)。

這一CPO成果展示，是通過短距離SerDes連接，實現(xiàn)光電共封裝，“將GPU上的信號直接轉(zhuǎn)為光信號傳出”。由于在同一封裝基板內(nèi)就集成了計算芯片和硅光引擎，實現(xiàn)了近距離光電互連。曦智科技稱xPU與光引擎超短互連，面板IO密度提升3倍以上，信號完整性與系統(tǒng)帶寬同步增強；另外“采用短距XSR SerDes，每bit能耗降低不少于30%”；加上“封裝內(nèi)信號路徑優(yōu)化，板上插損降低超10dB”。

曦智科技互連產(chǎn)品線副總裁朱劍解釋說，越近的距離可達成的收益是巨大的，不單是物理距離更近帶來的價值；例如去除DSP乃至FEC（前向糾錯），都能有效降低延遲，最終在系統(tǒng)層面達成更高的算力利用率。

在2D/2.5D CPO之后，“最終光互連的方式，應(yīng)當是光芯片和電芯片位于同一顆芯片之上，也就是3D共封裝，將電芯片和光芯片堆疊在一起，實現(xiàn)更高效的數(shù)據(jù)傳輸。”“電芯片整體通過一個面的連接，（將信號）傳導到硅光芯片——硅光芯片將信號往外傳輸。”“3D CPO大概會比現(xiàn)在的互連方式再提高1-2個數(shù)量級的互連帶寬。”

此前我們撰文提過，包括NVIDIA Photonics在內(nèi)的部分光電轉(zhuǎn)換芯片自身已經(jīng)有EIC（電集成電路）和PIC（硅光集成電路）上下兩層了——但媒體問答環(huán)節(jié)，沈亦晨告訴我們這仍然不是3D CPO方案。從示意圖來看，曦智科技所說的3D CPO，應(yīng)當是GPU之類的處理器die，整體與硅光芯片做3D堆疊。沈亦晨說：“這是我們的愿景，相信5年內(nèi)，它就有機會實現(xiàn)。”

對國內(nèi)AI基礎(chǔ)設(shè)施可能更有價值...

以上是常規(guī)意義上，CPO技術(shù)能夠為數(shù)據(jù)中心帶來的價值。但在曦智科技看來，這并不是全部，尤其在中國市場上。

沈亦晨在媒體會上談到的邏輯是這樣的：NVIDIA推出Grace Blackwell NVL72以后，達成了顯著更高效的性能和效率提升；國內(nèi)稱這種多卡機柜（即scale-up擴展，NVL72這樣一個NVLink域）為“超節(jié)點”。

NVL72系統(tǒng)相較9臺NVL8（9x 單機8卡），由于互連技術(shù)上的提升，“當AI模型越大”，則在單用戶響應(yīng)速度及AI集群整體吞吐兩個維度上表現(xiàn)出巨大優(yōu)勢。用黃仁勛的話來說，曲線任意點（表示各類不同并行配置方案下的表現(xiàn)）之下覆蓋的面積打小就是AI工廠的營收多少——這一點我們在今年的GTC報道文章里也詳細解釋過。

“當每個用戶TPS（tokens per second）超過200，超節(jié)點的吞吐量比非超節(jié)點提升了3倍以上。”體現(xiàn)出NVL72及超節(jié)點在算力和效率方面的優(yōu)勢。

而國產(chǎn)GPU芯片由于眾所周知的原因，很難在性能、能效表現(xiàn)上與Blackwell GPU（如B200）相較。曦智科技給出的估算方法是，B200芯片相較基于Ampere架構(gòu)的A100，算力提升約5-10倍；考慮國產(chǎn)GPU芯片目前與A100表現(xiàn)相似，則粗略估計，NVL72的算力，約等于500張國產(chǎn)GPU的算力（不考慮通信等因素）。

換句話說，如果采用國產(chǎn)GPU來建AI計算集群或基礎(chǔ)設(shè)施，在技術(shù)受限——尤其先進制造工藝被封鎖的情況下，為了達到NVL72機柜的相似性能，至少需要堆500張國產(chǎn)顯卡。但“考慮功耗、散熱、體積，將500顆GPU塞進一個機柜里是不可行的”，尤其“無法放下那么多的銅導線”。

所以唯有選擇多機柜的思路，與此同時跨機柜、節(jié)點需要具備高帶寬互連能力，“跨機柜往往超過了1m距離，所以只能選擇光互連——而不能沿用銅導線方案。”沈亦晨說，而且應(yīng)當采用“GPU直接出光”方案——也就是前文提到的應(yīng)用于GPU的CPO方案，“這在我們看來是必須的路徑”。

這是“現(xiàn)階段，能夠讓國產(chǎn)算力迅速具備超節(jié)點能力的解決方案”。朱劍表示，“光互連還能讓電機柜去組更大的集群。”另一方面，“有關(guān)CPO的商用，目前行業(yè)內(nèi)首個落地場景是交換機——博通和英偉達已經(jīng)有了對應(yīng)的產(chǎn)品”——如文首所屬，“國內(nèi)的情況也類似。我們和國內(nèi)頭部交換芯片廠商已經(jīng)在合作，共同提供光電共封裝解決方案。”

“第二步就是GPU。”如本次WAIC上展示的“xPU-CPO光電共封裝原型系統(tǒng)”即是前期實踐，“落地只是時間問題。”朱劍甚至表示，國內(nèi)已經(jīng)“在N+0.5技術(shù)上做布局”，“我們相比海外競爭對手，在商業(yè)落地上更快。”這和NVIDIA在國際GPU市場上占大頭，故而技術(shù)整體發(fā)展步伐與NVIDIA決策強相關(guān)有關(guān)，而“中國GPU企業(yè)都在尋求突破，更有利于光互連技術(shù)的市場落地”。

▲ 在CPO的加持下，500顆GPU的超節(jié)點“帶寬相比8卡提高3個數(shù)量級，3D CPO則在此基礎(chǔ)上再上一個數(shù)量級”，“才能應(yīng)對未來幾年的挑戰(zhàn)”...

同時，沈亦晨補充說，“硅光產(chǎn)品并不特別依賴制造工藝。國內(nèi)頭部產(chǎn)線現(xiàn)在生產(chǎn)的器件性能也很出色。”“國內(nèi)在光電這塊的技術(shù)、產(chǎn)業(yè)鏈甚至可以說是更領(lǐng)先的。”“至少在電封裝、光封裝這兩塊都比較強。”

眾所周知，臺積電在先進封裝技術(shù)上具有優(yōu)勢。但曦智科技表示，“我們現(xiàn)在也在推動國內(nèi)硅光產(chǎn)線去做更好的封裝技術(shù)，令其具備更好的光電合封能力”。“國內(nèi)現(xiàn)在至少有3條硅光產(chǎn)線已經(jīng)具備量產(chǎn)能力，且工藝節(jié)點處于領(lǐng)先位置。”所以“CPO技術(shù)對于中國的算力引入，是很重要的路線和機會”。

只不過“目前比較大的挑戰(zhàn)在于產(chǎn)業(yè)鏈比較長。”朱劍表示，GPU企業(yè)本身無法通過簡單地與OSAT封測廠合作完成CPO光電共封裝，“一定需要有企業(yè)能夠把控整個鏈條，進行協(xié)同設(shè)計，最終交付光電共封裝的產(chǎn)品。”這體現(xiàn)的就是曦智科技的價值了。

就曦智科技自身，在“經(jīng)過漫長的工程化研發(fā)、適配、優(yōu)化的過程”以后，“我們提供的技術(shù)已經(jīng)準備就緒”，支持國內(nèi)GPU企業(yè)做超節(jié)點組網(wǎng)。另一方面由于采用“可解耦”方案，更能“滿足現(xiàn)階段的市場需求”，也“更適合國內(nèi)生態(tài)”，尤其表現(xiàn)在“我們的光互連超節(jié)點很好地利用了服務(wù)器OEM生態(tài)，通過光學解耦讓生態(tài)發(fā)揮最大的作用，降低超節(jié)點落地成本”。

這一點可能也部分體現(xiàn)在曦智科技的光互連、光交換解決方案依舊可以與傳統(tǒng)電連接與交換方案共存。在做AI基礎(chǔ)設(shè)施建設(shè)時，不需要做完全的greenfield投入。

超節(jié)點解決方案：基于dOCS分布式光交換

除了數(shù)字芯片與硅光引擎的共封裝，曦智科技今年展示的另一個亮點是dOCS分布式光交換。沈亦晨說最先進的電交換芯片同樣需要采用尖端半導體制造工藝，在國內(nèi)的發(fā)展受到限制；既然“用光互連了，為何不嘗試直接用光交換，直接連接所有的光通道呢”？

曦智科技展位上展示的“全球首個分布式光互連光交換GPU超節(jié)點解決方案”LightSphere X是由曦智科技、壁仞科技、中興通訊共同推出的，在今年WAIC主論壇上還得到了2025 SAIL獎（卓越人工智能引領(lǐng)者獎）。

新聞稿中提到，“該方案以曦智科技的全光互連芯片為核心，創(chuàng)新性地提出了分布式光交換技術(shù)，解決了大規(guī)模算力集群中傳統(tǒng)電互連、集中式交換的帶寬瓶頸與擴展性受限等挑戰(zhàn)，構(gòu)建起高帶寬、低延遲、靈活可擴展的自主可控智算集群新范式”。

“采用硅光技術(shù)的光互連光交換芯片和壁仞科技自主原創(chuàng)架構(gòu)的大算力通用GPU液冷模組與全新載板互連，并搭載中興通訊高性能AI國產(chǎn)服務(wù)器及儀電智算云平臺軟件，構(gòu)建起高帶寬、低延遲、靈活可擴展的自主可控智算集群新范式，即將于上海儀電智算中心落地。”

基于硅光子技術(shù)的分布式光交換dOCS芯片

曦智科技在媒體會上并未就此技術(shù)做太多解釋，沈亦晨只是提到：“這顆光交換芯片做的事情是，通過中央信號控制，讓光信號在波導間進行信道切換。”相關(guān)論文已經(jīng)得到頂會SIGCOMM 2025的接收——感興趣的讀者可做留意（InfiniteHBD: Building Datacenter-Scale High-Bandwidth Domain for LLM with Optical Circuit Switching Transceivers）。

PPT上提到的dOCS的核心特點涵蓋“可實現(xiàn)超節(jié)點規(guī)模和拓撲靈活切換”，“不受協(xié)議限制”，“突破核心器件與供應(yīng)商瓶頸”；而基于dOCS超節(jié)點架構(gòu)的性能優(yōu)勢則有“單位互連成本僅為NVL72的31%”，“GPU冗余率比NVL72和TPUv4低一個數(shù)量級”，“與NVIDIA DGX（單機8卡）相比，模型算力利用率最高提升3.37倍”。

這里沈亦晨特別強調(diào)了其“靈活組合和冗余容災(zāi)”能力，對于GPU失效的情況，“可以在毫秒級時間內(nèi)，直接切換好的GPU，大大減少冗余帶來的成本增加”。但他沒有解釋這其中的具體邏輯，大概與此處所說“分布式”特性、在每個GPU上集成光交換功能，可靈活切換GPU互連拓撲結(jié)構(gòu)有關(guān)。

新聞稿中還提到，dOCS能“按模型算力需求動態(tài)調(diào)整超節(jié)點規(guī)模、切換拓撲網(wǎng)絡(luò)”；并且“分布式設(shè)計支持GPU高帶寬通訊域彈性擴展”，“光躍LightSphere X將實現(xiàn)2千卡規(guī)模部署”；“通過自主研發(fā)智算云平臺軟件靈活配置超節(jié)點網(wǎng)絡(luò)拓撲，支持密集通信和更大TP&EP，高效適應(yīng)各種大模型需求”——可見軟件應(yīng)當也是關(guān)鍵。

dOCS模組，看起來就像普通的可插拔光模組

朱劍在問答環(huán)節(jié)解釋說，一般OCS“需要個盒子”，“看起來和傳統(tǒng)電交換機很像”。傳統(tǒng)OCS盒子之所以“沒有在數(shù)據(jù)中心大規(guī)模應(yīng)用，在于它連接大量光纖，一旦出問題，爆炸半徑就會很大——當然業(yè)界也在持續(xù)研發(fā)，嘗試解決問題，但還需要時間”；同時其“單位成本還沒有完全降低到數(shù)據(jù)中心或云的客戶可以無視的程度”。

“dOCS就著眼在這兩個問題。首先是架構(gòu)上創(chuàng)新，交換功能不做在大‘盒子’里，而是放進一個模塊中——最終形態(tài)看起來就像個光模塊——我們利用光模塊傳統(tǒng)硬件生態(tài)，將交換功能放進去”；“第二，因為基于硅光，可靠性更好；且由于基于成熟的硅光生態(tài)，成本大幅下降”；“加上系統(tǒng)應(yīng)用上又能省去電交換，這款產(chǎn)品是面向技術(shù)、產(chǎn)品定義、應(yīng)用場景的聯(lián)合創(chuàng)新。”

有關(guān)上述曦智科技光互連技術(shù)的落地，沈亦晨表示“我們的目標是年內(nèi)落地萬卡集群”，“今年6月份已經(jīng)在上海，和沐曦一起，落地了基于光互連電交換的數(shù)千卡集群超節(jié)點”，“現(xiàn)在也正在落地數(shù)千卡的光互連光交換系統(tǒng)——故而上述產(chǎn)品和技術(shù)已經(jīng)不停留在紙面上了。

最后，給一個比較有趣的展望：雖然并不能完整概述曦智科技的硅光未來視野，不過在我們看來的確大概率會成真：“未來數(shù)據(jù)中心的芯片比如交換芯片、GPU，都會配數(shù)個硅光芯片——這就好像現(xiàn)在的GPU都會配HBM一樣——可能將來的GPU左右是HBM存儲芯片，上下就是硅光芯片共封裝了。”

隨著AI算力需求的持續(xù)走高，沈亦晨描述的這幅圖景應(yīng)當就在不遠的將來了。而曦智科技顯然是國內(nèi)最有希望抓住這一市場機遇的。