6顆芯片組成的AI計算機：老黃是怎么用1.7x晶體管做到5x性能提升的？

黃仁勛（NVIDIA CEO）近兩年都很熱衷于解答，在摩爾定律已然不行，AI模型規模又以10倍速增長的情況下，NVIDIA的芯片到底如何滿足AI技術發展需求這一問題。比如說前年發布Blackwell之時，他說Blackwell相比Hopper性能提升30倍——對半導體芯片而言，這樣的數字是不現實的；而30x的邏輯，我們也特別撰文探討過。

今年CES消費電子展上，他又在發布會上提到Vera Rubin NVL72這樣一個系統，總的晶體管數量是220萬億，相較上代超節點增長了1.7倍；但標稱的推理與訓練（NVFP4）性能分別提升5倍和3.5倍。即便從加速器的角度來看，這真的科學嗎？

黃仁勛在今年CES主題演講中反復在提的一個高頻詞是“co-design”（協同設計）——不是說NVIDIA與其他企業協同做設計，而是NVIDIA的不同芯片之間做co-design。因為“extreme co-design”（極致的協同設計）的存在，才讓1.7倍晶體管總量增長，達成了5倍、3.5倍的AI性能提升。

那究竟是哪些芯片之間做了協同設計呢？在發布會的后30分鐘里，老黃花了較大篇幅介紹NVIDIA現如今的“6顆芯片”。關注NVIDIA或者電子工程專輯這些年對NVIDIA報道的讀者對這6顆芯片應該不會陌生，它們分別是：CPU、GPU、NIC芯片、DPU、用于scale-up的NVLink Switch交換芯片、用于scale-out的CPO（共封裝光學）以太網交換芯片。

但有所不同的是，這6個類型的芯片新品全部用在了Vera Rubin NVL72機柜里頭：以6顆芯片、總計220萬晶體管，滿足對于AI技術近乎瘋狂的算力需求增長。

要不說老黃是營銷鬼才呢，他說：“我們公司原本有個規則，每代新產品中不應該有超過2款芯片迭代”，但考慮到“摩爾定律大幅放緩”，“晶體管每年增長的數量，跟不上AI模型規模的10倍增速，跟不上每年生成的token數5倍增速，跟不上因此所需的成本降低速度”......所以NVIDIA做出了一個違背祖宗的決定，“橫跨所有芯片、整個技術棧，做出創新、進行極致的協同設計”，“在這一代產品中，我們沒有選擇，唯有重新設計每顆芯片”。

這篇文章，我們就詳細談談這6顆芯片，及其構成的Vera Rubin NVL72系統；并嘗試探討1.7倍晶體管數量增長，如何達成5倍、3.5倍的訓練與推理性能提升——當然，只是高抽象層級。

6顆芯片、220萬億晶體管的超節點

“超節點”這個詞的出處有些不可考，它似乎是在GB200 NVL72系統誕生以后爆火的。但這個詞的誕生應當早于本世代AI浪潮?？赡茉诓煌珹I芯片企業及行業媒體的上下文中，這個詞的含義也都有不同。NVIDIA官方從未用過“超節點”或SuperNode一詞（但有在使用SuperPod這個詞）。

不過可以明確的是，在NVIDIA的技術與產品語境中，國內媒體提的“超節點”特指一個NVLink域，或者所謂的高帶寬域（high-bandwidth domain）。一個GB200 NVL72機柜就是一個超節點——72顆Blackwell芯片位于同一個NVLink高帶寬域內。而本次NVIDIA發布的Vera Rubin NVL72則是對GB200 NVL72的迭代，自然也是超節點。

Vera是CPU的代號，Rubin是GPU的代號，NVL是指NVLink互連，72則表示整個域內有72顆Rubin芯片。值得一提的是，去年GTC上，老黃預告過這一代產品會叫Vera Rubin NVL144——后面這個數字指的是GPU die的數量，因為一個Rubin芯片封裝內有兩片die，所以72顆GPU，也就是144顆die。

現在看來，NVIDIA是改變主意了，沿用了上一代Grace Blackwell NVL72的命名規則。老黃說Vera Rubin當前已經進入量產（full production）階段；媒體會上是說今年下半年開始上量。首批部署Vera Rubin實例的客戶主要是CSP這樣的云合作伙伴（如Microsoft Azure, CoreWeave）。

實際上，NVIDIA大約是在一年半前開始出貨GB200的，目前GB300進入到全面上量階段。就企業市場角度來看，NVIDIA這個迭代速度還是相當之快。

黃仁勛說，因為AI模型每年規模增長10倍，每年單位token的成本降低10倍（數據來源：Artificial Analysis），以及因為agentic AI和推理思考模型（reasoning model）的普及導致平均每年生成的token數以5倍速增長（數據來源：EPOCH AI），“所以我們決定必須每年都推升計算”。

這套NVLink高速互連域內最關鍵的核心構成，是來自NVIDIA的5顆芯片：Vera CPU, Rubin GPU, ConnectX-9 NIC芯片, BlueField-4 DPU, NVLink 6 Switch交換芯片。除了NVLink域內的這5顆芯片，還有一顆用于scale-out的芯片就是去年特別火的CPO（共封裝光學）交換芯片Spectrum-X Ethernet。它們共同構成了NVIDIA這次宣傳中談到的“6顆芯片”。

傳說中的6顆芯片，從左到右依次是CPU, GPU, NIC, DPU, NVLink Switch交換芯片, Ethernet CPO交換芯片…沒想到封裝個頭最大的還是CPO交換芯片...

整個Vera Rubin NVL72系統標稱的算力數字包括NVFP4推理理論峰值算力3.6 ExaFLOPS（5倍于Blackwell）、NVFP4訓練理論峰值算力2.5 ExaFLOPS（3.5倍）、LPDDR5X內存容量54 TB（3倍）、HBM容量20.7 TB（1.5倍）、HBM4帶寬1.6 PB/s（2.8倍）、scale-up帶寬260 TB/s（2倍）。

“通過極致協同設計，6顆芯片構成的系統，就像一顆芯片一樣工作。”計量單位上，除了6顆芯片、220萬億晶體管這種說法，實際上整個機柜有18個計算槽、9個NVLink交換槽，重量約2.5噸。它的確稱得上當代AI超節點的巔峰之作。在CPU, GPU芯片算力之外，著眼存儲、互連，加上軟件效率的提升，也是全棧及整個設備實現數倍性能提升的不二法門。

有關Vera Rubin NVL72系統，黃仁勛在演講中說基于這套設計，構建行業標準系統，讓供應鏈的所有參與者都能夠對系統中的組件進行標準化設計制造。此例中，NVIDIA自己的模塊化服務器參考架構MGX系統大約由80000個不同的組件構成。“如果我們每年都去改變，將會是巨大的浪費”。而標準化得以讓OEM/ODM企業更好地去造這套系統。

值得一提的是，黃仁勛還提到NVL72系統的的液冷散熱可以用45℃的“熱水”，如此一來也就不需要制冷機了。我們了解了一下45℃液冷散熱的基本原理：因為NVL72使用直接接觸芯片的冷板來做熱交換，芯片本身的結溫可以很高，45℃的進水、55-60℃的出水，有熱梯度、流速足夠時，也能做到有效散熱。這一點代表的，大概也是新版NVL72在系統層面的能效提升。

CPU與GPU：5倍算力增長怎么做到的？

老黃說，這6顆芯片，每顆都是值得單獨開發布會的，因為“每個都是完全的革新、是同類芯片中最好的”。在這6顆芯片中，提供算力的主力自然就是Vera CPU和Rubin GPU了。

其中Vera CPU總共88個Olympus核心，176線程。NVIDIA稱其為“Spatial Multi-Threading”（空間多線程）。有外媒報道說，這種空間多線程不同于傳統的同時多線程，并非在共享管線中做線程同時執行，而是一種所謂的“thread-to-port分布”，線程映射到不同的內部端口（更像加速器的多線程？）。

猜測這可能與Vera和傳統的通用CPU設計目標不同有關，其主要職能就在于協同GPU、調度KV cache、壓縮和解壓數據、組織NVLink流量、跑AI runtime代碼等，明確的負載具有更高的可預測性、更低的管線沖突，空間多線程也因此更能提升效率。用老黃的話來說，“Vera的多線程特性是設計好的，176個線程的每一個都達成了完整的性能”。

其他有關Vera的參數還包括2270億晶體管，1.8 TB/s NVLink-C2C, 1.5 TB系統內存, 1.2 TB/s LPDDR5X帶寬。發布會的視頻介紹中提到，相比前代（Grace）實現了性能的翻倍。

此次芯片迭代的重頭戲自然是Rubin GPU了。NVIDIA介紹Rubin的第一句話就是：Vera和Rubin是從一開始就做“協同設計”的，“雙向地、一致地，共享數據更快、延遲更低”。老黃也是在這里提到了所謂的“極致協同設計”。

Rubin的晶體管數量為3360億個，是Blackwell的1.6倍；標稱的理論算力包括NVFP4推理50 PetaFLOPS（5倍于Blackwell，雖然這個倍數是部分值得商榷的）、訓練35 PetaFLOPS（3.5倍）、HBM4帶寬22 TB/s（2.8倍）、每GPU的NVLink帶寬3.6 TB/s（2倍）。這么看來，NVL72系統層面的AI性能提升倍率，基本與GPU的性能提升相當。

這里有個關鍵，是GPU之中所謂NVFP4 Tensor core的存在。NVIDIA在媒體會上提到第3代Transformer引擎實現了向前兼容，而且增加了自適應硬件（adaptive hardware）來推升NVFP4的性能。此前Blackwell宣傳中標稱的數據，包括NVIDIA給到的5x, 3.5x對比數據都是基于Blackwell跑FP4和FP8的（實際上有研究提到NVFP4本身對于Blackwell的LLM推理也有顯著的效率提升）。

黃仁勛也在發布會上著重提到了NVFP4，“并不只是個4bit浮點數”，“全新的處理單元能夠理解如何動態、適應性地調整精度和結構，來處理Transformer不同層級的問題。如此一來，在可以損失精度的場景下獲得更高吞吐，而在有需要時回到更高的精度。”他將NVFP4形容為創舉（groundbreaking work），“如果將來行業希望這種格式和結構能夠成為行業標準，我也不會感到意外”。NVIDIA也已經就NVFP4發布了paper，有興趣的同學可以去看一看。

Vera與Rubin的組合，依舊是每1顆Vera搭配2顆Rubin，實現100 PetaFLOPS算力。介紹中提到Vera Rubin計算板上總共有17000個組件；且這樣一個計算節點（2個Vera CPU，4個Rubin GPU）沒有線纜、沒有風扇、沒有軟管，完全液冷。據說在整個MGX參考結構的革新之下，以往至少需要2小時組裝起來的計算節點，現在只需要5分鐘。

互連組合：NIC、DPU、NVLink Switch、CPO交換芯片

算力之外的第二個大問題就是網絡互連networking了：現在我們常說，NVIDIA生態護城河并不單純在其軟件，也在于算力芯片之外、這些配套networking基礎設施的高效性，對其他GPU和AI芯片企業而言在技術上給到了相當大的壓迫感：超節點構建本身就有挑戰，更不用談萬卡、十萬卡集群的構建。

作為Vera Rubin NVL72系統內的計算節點，其上肯定不單有CPU和GPU。其中的關鍵構成還有8個ConnectX-9 NIC，以及1個BlueField-4 DPU。電子工程專輯過往針對NVIDIA的報道文章很少談NIC和DPU。

從本文的行文邏輯來看，理論上應該先介紹scale-up的NVLink Switch的，但NVIDIA的6顆芯片一字排開的那張圖上，CPU和GPU之后就是NIC，所以這里也先談ConnectX-9（而且NIC和DPU畢竟是位于計算節點之中的）。所謂的ConnectX-9 Spectrum-X SuperNIC用于做機架間的互連實現——是東西向流量傳輸、scale-out的基本組成部分。

此前NVIDIA就宣傳說，ConnectX-8就是為跑AI的Ethernet設計的——因為AI負載的Ethernet流量要求很低的延遲，瞬間突發流量和傳統Ethernet也不是一個量級，所以“Spectrum-X就是AI Ethernet”。據說這次的ConnectX-9 NIC芯片也與Vera CPU做了協同設計。

ConnectX-9 NIC芯片有230億晶體管；200 PAM4 SerDes實現800 Gb/s的以太網傳輸；可編程RDMA與DPA（Data Path Accelerator，一個加速數據包與IO處理負載的嵌入子系統，支持開發者在其上跑代碼，完全繞過host CPU）；以及安全方面的線速加密、Security Enclave安全隔離與Attestation可信證明，并通過CNSA與FIPS認證。

有關ConnectX-9的重要性，黃仁勛是這么說的：如果你有個GW（GigaWatt）級別的數據中心，需要投入500億美元；如果說networking組件能讓你多擠出10%的性能，那也相當于50億美元了；而Spectrum-X能提供25%更高的吞吐。

隨后是控制面的BlueField-4 DPU——作為一種給host CPU減負的數據處理器，這顆芯片總計1260億個晶體管，主體部分是64個Grace CPU核心搭配ConnectX-9（曾經的超算CPU如此奢侈地用在了DPU上...），相較BlueField-3實現了2倍networking能力、6倍計算、3倍內存帶寬的提升。有關DPU的具體職能，在此就不做過多解釋了。

簡單來說，是“面向南北向流量，對大量虛擬化、安全、networking軟件做offload”。“BlueField-4讓我們能夠構建起非常大型的數據中心，并對不同的部分做隔離——不同的用戶就能使用不同的部分，確保更出色的虛擬化實現。”

然后就是真正的、超節點域內的高速實現，用于scale-up的NVLink Switch交換芯片了。Vera Rubin NVL72系統內的NVLink交換設備內總共有4顆第六代NVLink Switch交換芯片，每顆1080億晶體管，“每個都用上了歷史上最快的SerDes（400G）”；面向每顆GPU的All-to-All帶寬為3.6 TB/s。

“在同一時間內，每顆GPU要和其他每顆GPU進行對話。而NVLink Switch交換設備要搬運相當于全球互聯網數據流量的2x之多的數據，240 TB/s，是每顆GPU之間協同工作的保證。”

實現萬卡集群、scale-out的最后一個重頭戲，毫無疑問就是Spectrum-X Ethernet CPO交換芯片了。CPO共封裝光學也被電子工程專輯和國際電子商情同時列為2026年的市場與技術趨勢之一。這顆芯片及對應的交換機是去年GTC上發布的：當時的Spectrum-X Photonics交換機上市計劃就是在2026年。

從NVIDIA的官方動畫來看，Spectrum-X Photonics交換機實際上并不在Vera Rubin NVL72機架上——畢竟它是用于NVLink域外的數據交換的。不過當涉及千卡萬卡的AI集群或數據中心之時，這臺交換機及其中的CPO交換芯片自然也是關鍵。

這顆CPO芯片將進行光電轉換的硅光引擎以chiplet的方式與交換芯片封裝在了一起，采用臺積電COUPE封裝技術。這么做有利于提升能效、互連韌性，同時據說也加快了部署速度。這應該也是市面上第一款采用COUPE、量產的光電共封交換芯片。

這顆芯片的晶體管數量來到了恐怖的3520億個，比Rubin還多，可能和周圍配了那么多chiplet硅光引擎有關，也才讓其個頭在6顆芯片中顯得最大。具體參數包括有512個200Gbps Ethernet口支持（或128個800Gbps口）。

其實在談到Spectrum-X交換機的時候，老黃也順帶提了一嘴Infiniband——他說Infiniband技術本身很不錯，但軟件棧、可管理性對于不熟悉它的人來說會很陌生，“所以我們決定第一時間投入到Ethernet市場。”“下一代Spectrum-X也會持續這樣的傳統。”未知NVIDIA對Infiniband的態度未來會不會有所轉變。

存儲：接入一個新的“長期記憶”層級

以上就是6顆芯片及其構成的NVL72系統的全部信息了。這幾顆芯片主要涉及的就是計算（computing）與互連（networking），不過這不是全部。一般現在我們談AI算力的系統效率，總是從三個角度切入的：計算、互連、存儲。

NVIDIA本身不做存儲芯片，但過去兩年NVIDIA越來越多地涉足存儲技術——畢竟它也是當代影響AI計算效率的關鍵因素之一。去年GTC上，NVIDIA宣布“基于語義的存儲系統”（semantics-based storage system）將會是未來的企業存儲。當時NVIDIA找來了包括Dell, HPE, IBM, PureStorage等在內的企業合作。

今年CES之上，NVIDIA又提到：由于模型規模在增大，推理的上下文長度在增大，還相關用戶及會話的更多并行需求，這些都對存儲提出了要求，尤其對話過程中更長的上下文成為了瓶頸。“AI需要創建臨時記憶，也就是KV cache；這些記憶存儲在HBM內存之中。”黃仁勛解釋說，“GPU需要讀入整個模型、整個記憶（KV cache），來生成1個token；然后再將該token放回到KV cache中，再進行下一輪的token生成，循環往復...”

“如果和AI進行長篇對話，上下文記憶大幅增加。”“我們當然希望AI成為我們的生活伴侶，記住每一次對話。”“加上很多人一起用AI數據中心資源...”“這些上下文記憶增加，HBM再大也不夠”。與此同時，海量的token生成需求、KV cache搬來搬去致大量網絡流量壓力，對于AI實驗室、云服務供應商等角色而言都是痛點。

媒體會上，NVIDIA HPC與AI基礎設施解決方案資深總監Dion Harris說，agentic AI時代的性能瓶頸正從計算轉向上下文管理。所以NVIDIA這次提出的方案是構建一個所謂“Context Memory Storage Platform”（上下文記憶存儲平臺）的平臺，并“讓新的處理器（BlueField-4）去跑整個KV cache上下文內存管理系統，讓它和機架的其他部分非?？拷?rdquo;。

從黃仁勛在發布會上所指的位置來看，下面這張圖NVL72機架右邊的部分，就是“上下文內存”，每個設備內有4顆BlueField-4芯片，提供150TB的“上下文內存”。“這樣的后備存儲，享有東西向流量相同的200Gbps速率，橫跨整個計算節點fabric，就能獲得額外16TB的內存。”

Dion將該平臺形容為針對推理優化的、內存新層級（new tier of memory）。“存儲不應該是低優先級的問題，而應當與網絡協同設計，以0開銷的方式在節點之間實現上下文的搬運。”“這是個AI原生的存儲架構，建立在BlueField-4和Spectrum-X Ethernet基礎之上，做KV cache的存儲；并與NVIDIA Dynamo和NIXL緊耦合。”

該平臺的拓撲結構不明，不過從媒體會上給出的示意圖來看，這就是個專門的存儲節點——主控是BlueField-4，搭配一堆SSD；再藉由Spectrum-X Ethernet交換機，與計算節點做互連；該存儲節點位于計算節點和網絡存儲（networked storage）之間——如果說HBM是G1級，系統DRAM是G2級，本地SSD是G3級，冷數據共享對象與文件存儲是G4級，那么這個推理上下文內存存儲平臺就是G3.5級。

感興趣的同學可以去看看NVIDIA的開發者博客文章。博客文章將這個新層級形容為“AI基礎設施pod的agentic長期記憶”，不僅對于多agent可同時放置共享上下文，而且與GPU和主內存足夠近。具體的效果是推理性能5倍提升（相比用傳統網絡存儲來做推理上下文，該平臺的每秒token生成數是其5倍），以及5倍的Perf/$和能效提升。

換句話說就是更高的吞吐、更低的延遲，“適用于多輪對話、RAG、agentic AI多步推理（reasoning）等負載”。Dion在答記者問時提了一句，最直觀效果可能是首token生成速度（TTFT）有機會提升20倍。

這套方案是被NVIDIA作為“極致協同設計”典范對待的，因為也“不能孤立看待存儲”。當然接入這樣一個新的層級，肯定需要存儲領域的合作伙伴參與（如NetApp, VAST等），“客戶會去做集成，作為完整整合AI基礎設施的一部分”，算是真正的“協同設計”了。

“極致協同設計”的價值

黃仁勛在總結中提到Vera Rubin NVL72的四個關鍵特性。其一是整個系統實現了2x的能效提升，“雖然功耗是過去的2倍，但算力收益卻好幾倍”；其二，整個系統是confidential computing safe機密計算安全的（主要應該是Vera實現了這一點，上代Blackwell僅在x86平臺上做到）——Dion說這代達成“第3代機密計算”實現了首個機架級（rack-scale）TEE（可信執行環境），跨整個NVLink域做到數據安全，保護專用模型、訓練數據、推理負載等；

其三聽起來是AllReduce引入的供電突增、電流尖峰問題，藉由“power smoothing”機架級功率調度，而不需要再預留多25%的供電預算；其四自然就是性能、效率的具體提升數字了：

這張圖中的綠色和黃色曲線分別代表Blackwell NVL72和Rubin NVL72。第一張圖表示AI模型訓練，這里的“DeepSeek++”指的是用100萬億個token作為訓練數據，訓練10萬億參數的模型——這是NVIDIA預想中未來的前沿模型，一定訓練時間下（1個月），后者僅需要前者1/4的GPU數量即可完成。

而對AI工廠的吞吐（橫軸每個用戶的token/s數字；縱軸應該是整體的每秒token數）而言——這個對比樣式也是去年黃仁勛發布Blackwell時最后展示的，他說曲線覆蓋的面積可代表企業的營收；基于Kimi-K2 Thinking模型，Rubin NVL72達成了10倍的吞吐提升。

有關這一點，值得一提的是，媒體會上NVIDIA有強調如今MoE模型的流行及其更高的智能水平（就是以Kimi-K2 Thinking舉例的）——以更高的效率去跑更大的模型成為可能——而Vera CPU和Rubin GPU的提升（Vera格外擅長編排、路由、調度KV cache和上下文，而Rubin在算力和內存帶寬方面提升不少），加上NVLink 6 Switch強化EP專家并行所需的All-to-All GPU互連，令這代產品特別適用于MoE模型負載。

所以最后一張曲線圖就是Rubin NVL72僅需Blackwell NVL72大約1/10的單位token成本。

如果說相較Grace Hopper，GB NVL72的性能提升主打的是系統層面（尤其NVLink域的擴張，以及互連加強）的革新，那么Vera Rubin NVL72的性能提升主打的就是NVIDIA在各種場合反復在提的“協同設計”，以及6顆芯片的全面翻新。這是1.7倍晶體管數量增長，帶來5倍性能提升的核心——包括對NVFP4的強調、KV cache存儲新層級的引入，也可以歸在“協同設計”之內。

還有一個部分是本文沒有提的，就是軟件：包括黃仁勛這次花了大量篇幅去談的NVIDIA是開源開放模型（比如這次面向汽車的reasoning VLA模型Alpamayo）、開放數據集生態中的佼佼者，同時也為開發者打造了各種各樣的模型工具與框架、Blueprint參考工作流，還有每次都要提的在AI全棧各層級的努力——畢竟這些才是NVIDIA實現AI生態黏性的關鍵。

AI的發展速度到2026年的今天，仍然是超出了我們預期的。世界從感知型AI，走向生成式AI、代理式AI（agentic AI），進化到與物理世界交互的、以汽車和機器人為代表的物理AI（physical AI）；AI計算的側重也由預訓練、后訓練（post-training）轉向了推理（test-time）...

一個挺讓人感觸的事是，今年CES上黃仁勛列舉的合作伙伴包括了Synopsys、Cadence，特別提到這些EDA企業原本是為NVIDIA賦能的上游企業；而隨著AI技術的發展，NVIDIA現在也能為它們服務，比如CUDA-X融入到了Cadence的模擬仿真和求解器之中，尤其讓AI Physics在電子或系統設計工具中發揮作用。

“最初從他們這樣的企業出發，我們現在也有機會回去幫助他們來做出革新。”這就是AI技術魅力的體現了。