AI推理芯片架構，看這一篇就夠了！

點擊藍字

關注我們

因為公眾號平臺更改了推送規則。記得點下右下角的大拇指“贊”和紅心“推薦”。這樣每次新文章推送，就會第一時間出現在訂閱號列表里。

簡介

自2022年以來，五家初創公司——Cerebras、Groq、SambaNova、Etched和Tenstorrent——專門設計了用于LLM推理的芯片。

它們的共同認知是：NVIDIA的GPU專為訓練優化（通過大規模并行計算數十億個參數），而推理則遵循截然不同的邏輯——順序執行、對延遲敏感，并受限于內存帶寬。

到2026年的情況是：Cerebras聲稱其Llama 3.1 405B版本每用戶每秒可處理高達2,500個token；獨立數據證實Groq在Llama 3 8B上的推理速度可達每秒877個token。但實際情況更為復雜：Groq于2025年12月被NVIDIA收購，已不再是獨立的競爭者；Etched已融資6.2億美元，卻未向任何外部客戶交付過單個芯片；而Tenstorrent的實際LLM推理性能僅達到其理論峰值的50%。

為什么GPU不是推理任務的理想芯片

想象一個家具制造車間。如果要生產1000張完全相同的桌子，擁有200名工人并行作業的大型工廠無疑是最佳選擇——相當于LLM訓練場景。但當一位顧客只提出要一張定制椅子，這200名工人卻無法幫助：機器規模過大，無法勝任順序處理任務，顧客仍需等待第一位工人完成第一步后，才能開始下一步操作。這就是LLM推理場景。

內存帶寬瓶頸 

LLM推理以自回歸方式逐個生成一個token。在每一步中，模型必須從內存中讀取所有參數，以及一個隨生成的token而增長的KV緩存。在NVIDIA H100 GPU上，HBM內存帶寬為3.35 TB/s。對于一個使用FP16的Llama 3.1 70B模型而言，每步需要讀取約140 GB的權重——理論最小延遲約為每token 42毫秒，這意味著在解碼模式下，單個用戶每秒大約可處理24個token。

結構問題在于：GPU 專為訓練而設計，能夠最大化計算單元的利用率（如在大批次上進行矩陣乘法）。而自回歸推理無法對未來的token進行并行處理——因為這些token尚未生成。在小批次推理時，GPU 的計算能力被大量浪費。

常被混淆的指標詞匯

• 吞吐量（aggregate tokens/s）：所有請求的總和，即每秒處理的總token數。屬于數據中心和服務器成本指標。通過批量處理可提升性能——越多請求被分組，芯片的使用率就越高。

  
  

• 用戶單次延遲（tokens/s per user）：單個交互用戶所感知到的吞吐量。批量處理不會改善這一指標，相反，更多的并行請求會增加用戶單次延遲。這是對話類應用的關鍵指標。

  
  

• 首次token時間（TTFT）：第一個token出現前的延遲時間。對于交互式應用至關重要。

  
  

• 每token成本：每生成一個token所產生的基礎設施成本。取決于硬件的總體擁有成本（TCO）和能耗。

  
  

簡單來說：當供應商宣稱“1,000 tokens/s”時，關鍵問題是：這1,000個token是來自50個同時請求的總和（即每位用戶20 tokens/s），還是直接交互中每位用戶產生1,000個tokens？兩者相差50倍。這兩個指標各有其用途，但不能互換使用。

Cerebras WSE-3——整片硅晶圓 

核心理念：消除外部內存總線 

Cerebras選擇了最激進的解決方案來解決帶寬瓶頸問題：徹底取消外部內存。WSE-3占據了整片300毫米硅晶圓的全部面積——46,225平方毫米，而H100僅占814平方毫米（大了57倍）。它直接集成：

• 4萬億個晶體管（5納米TSMC工藝） 

• 90萬個AI核心（Sparse Linear Algebra核心）

• 44GB片上SRAM——內存直接集成在芯片內部 

• 內存帶寬：21 petabytes/s——約為H100 HBM帶寬的7000倍

核心理念：通過消除外部內存總線，WSE-3消除了限制GPU推理性能的瓶頸。H100需以3.35TB/s的速度從HBM加載權重，WSE-3則以21 petabytes/s的速度從片上SRAM讀取，速度提升約3至4個數量級。

簡單來說：H100的HBM內存就像隔壁房間的一間圖書館——你需要離開辦公桌才能取書。而Cerebras的片上SRAM就像是你辦公桌上的書架，就在同一層架子上，觸手可及。兩者之間的訪問速度差距巨大。

基準測試與三角驗證

三角驗證：Cerebras并未參與官方的 MLPerf 推理基準測試——標準化對比并不存在。每秒969個和每秒2,522個token的數據來自Cerebras 的溝通信息。目前唯一可獲得的部分三角驗證來自社區測試（Adam Holter，2026），通過公開的Cerebras API 在Llama4Scout 上確認了約每秒2,600個token的性能。

架構限制：芯片上的44GB SRAM不足以支持非常大的模型（Llama 3.1 405B在FP16下約為800GB）。Cerebras采用分層推理架構：先在AWS Trainium上進行預處理以預填充數據，然后由WSE-3負責解碼。

2025-2026 年發展軌跡 

• 2026年1月：OpenAI簽署了一份為期多年的合作協議，將獲得 750MW的Cerebras 容量，合同金額預計超過100 億美元。 

  
  

• 2026年3月：AWS通過Amazon Bedrock 在其數據中心部署WSE-3，實現首個超大規模云計算平臺的集成。 

• 
  

• 2026年4月：Cerebras 提交了Nasdaq 招股說明書，目標估值至少為350 億美元，2025年收入為5.1億美元。 

  
  

Groq LPU ——改變一切的收購 

確定性架構：零運行時決策 

Groq 發明了LPU（Language Processing Unit），這是對GPU 基礎架構的一次根本性突破。與GPU 每個周期都進行決策（硬件調度器管理資源爭搶、緩存缺失、分支預測）不同，LPU 完全編譯且具有確定性：Groq 編譯器（GXCC）在編譯時預先計算出完整的執行圖，包括芯片間通信，直至每個時鐘周期。在運行時，硬件不做出任何決策。

詞匯

• 抖動：響應時間的波動性。一個平均延遲為100毫秒、抖動為50毫秒的系統，有時會在50毫秒內響應，有時則需要150毫秒。抖動對交互式應用至關重要——用戶會感受到延遲突增。

  
  

• 尾部延遲：第99百分位或第99.9百分位的延遲。由于資源競爭，該數值在在GPU上通常是中位數的5到10倍。LPU通過設計消除了這一問題。

  
  

• SRAM：片上內存，速度快但成本高且容量有限。外部GPU內存請參見HBM。

  
  

內部LPU架構

• SRAM作為主要工作存儲（無HBM或層次緩存） 

  
  

• SRAM帶寬：超過80 TB/s，而H100 HBM約為8 TB/s 

  
  

• 專用執行模塊：矩陣（密集張量）、向量（逐點算術）、切換（結構化數據移動）

  
  

簡單來說：GPU在運行時像廚師一樣即興發揮，根據冰箱里的食材調整食譜。LPU執行的是精確寫好的程序——完全不即興，無意外延遲，但程序必須完整才能開始運行。

基準測試（獨立數據） 

這些數據與單個H100 GPU 解碼Llama 3.1 70B 模型約24 tokens/s進行對比（單用戶）——Groq 在該模型上的性能約為其12 倍。這一比率與架構上SRAM 相比HBM 的優勢一致。

獨立公司Groq的終結：英偉達2025年12月收購 

這是2025年的重大變革。英偉達于2025年12月24日以200億美元收購了Groq。創始人以及大部分工程師均加入英偉達。

具體成果：Groq 3 LPX——作為推理協處理器集成到英偉達的Vera Rubin平臺中。LPX機架規格：

• 315 PFLOPS FP8（每機架256個Groq 3 LPU芯片） 

  
  

• 總計128 GB SRAM 

  
  

• 片上SRAM帶寬達40 PB/s 

  
  

• AFD（Attention-FFN Disaggregation）架構：Vera Rubin GPU負責預填充和attention計算；LPU負責解碼、全連接神經網絡及MoE任務 

  
  

• NVIDIA聲稱：相比于競爭解決方案“每兆瓦推理吞吐量提升35倍” 

  
  

簡單來說：Groq已不再是獨立的挑戰者。LPU技術如今已成為英偉達平臺的重要組成部分，這強化了英偉達在推理領域的主導地位，而非對其構成挑戰。此前使用Groq Cloud服務的客戶現在只能通過英偉達生態系統來訪問該技術。

SambaNova SN40L/SN50——超大模型的可重構數據流 

RDU：編譯完整圖，而非單個內核 

SambaNova 的方法與前兩種不同。RDU（Reconfigurable Dataflow Unit）不僅加速單個操作（如矩陣乘法、attention機制），更將完整的操作圖編譯為連續的數據流管道。在GPU執行一系列獨立內核（先矩陣乘法，再Softmax，再層歸一化）時，RDU則將數百個操作融合為單一調用。

SN40L（2023-2025年，TSMC 5nm，2.5D CoWoS chiplet）：

• 1,040 個模式計算單元(PCU):峰值 638 BF16 TFLOPS 

  
  

• 三級內存系統： 

  芯片內PMU SRAM：520 MiB，數百 TB/s 

  共封裝HBM：64 GiB，約2 TB/s 

  DDR DRAM：最高可達1.5 TiB，超200 GB/s

  
  

1.5 TiB DDR 內存是其獨特之處。它能夠使多個超大模型共存于內存中，并且比同等GPU系統快31倍地在這些模型之間切換，這對于CoE部署至關重要，因為多個專用模型會根據請求交替使用。

簡單來說：想象一個圖書館，分為三個區域——你桌面上最常使用的書籍（SRAM）、附近書架上的經典著作（HBM），以及隔壁房間的檔案資料（DDR）。SN40L 可以直接訪問檔案區，而無需先清空桌面——這對于擁有超過十億參數的模型而言，是一大優勢。

SN40L 性能測試

最引人注目的數據是：僅使用16塊SN40L芯片，DeepSeek-R1 671B達到每秒198個token的性能。相比之下，一個同等配置的GPU系統需要大約130塊H100才能支持這個擁有671B參數的模型。

SN50 

于2026年2月發布，額外籌集3.5億美元：

• TSMC 3nm工藝，雙chiplet設計 

  
  

• 每顆芯片支持3.2 PFLOPS FP8和1.6 PFLOPS BF16 

  
  

• 432 MB片上SRAM / 64 GB HBM2E / 最高支持2 TB DDR5 

  
  

• 廠商宣稱：Llama 3.3每用戶895 tokens/s（FP8），而NVIDIA B200為184 tokens/s

  
  

• 英特爾與Xeon CPU平臺合作 

預計交付時間：2026年下半年——已公布，但截至本文撰寫時尚未交付。SN50數據仍完全為廠商宣稱。

Etched Sohu——對Transformer的極致押注 

僅使用Transformer架構的硬連線設計 

在本次對比中，Etched 是最具顛覆性的方案。Cerebras 使用整片硅片，但仍是相對通用的處理器；而Sohu則是一個純基于Transformer的ASIC：multi-head attention blocks（QKV投影、Softmax、輸出投影）、前饋網絡（GELU/SiLU）以及層歸一化均被硬連線于硅片之中。Sohu 無法重新編程以適配其他模型類型。

理論優勢：最高transformer計算密度。已公布規格（TSMC 4nm）：

• 144 GB HBM3E 

  
  

• 聲稱：在Llama 70B 上用8臺Sohu 服務器每秒可處理50 萬tokens 

  
  

• 據Etched 信息稱“可替代160 臺H100”

  
  

簡單來說：Sohu就像一臺專業意式咖啡機，只能完美地沖泡一種咖啡，卻無法泡茶、加熱食物或做其他任何事情。如果意式濃縮咖啡仍是標準，那它就是一臺天才機器；但如果習慣變了，它就只是無用的硬件。

結構上的缺陷：生存的賭注 

自2017年以來，Transformer架構一直占據主導地位，但這只是慣例，并非物理定律。如果該架構發生顯著演變（如Post-Transformer、狀態空間模型、Mamba風格或混合架構），Sohu將變得毫無用處。這是一場關于Transformer持久性的生存賭注。

資金及實際狀態

狀態：截至2026年4月，零個客戶訂單。Manifold Markets的預測（“Sohu會在宣布后一年內發貨嗎？”）在2025年年中得出否定結論。截至2026年3月，沒有任何外部客戶收到過Sohu商品。Etched提到有“數千萬美元的預訂”來自匿名客戶。

零獨立基準測試：所有引用的性能數據（如50萬tokens/s、“20倍于H100”）均為內部模擬得出的理論預測。目前沒有任何第三方在真實條件下對Sohu進行過測試。

簡單來說：Etched已籌集 6.2億美元，但既沒有交付成果，也沒有第三方基準數據，因此其表現最難以評估。該架構可能非常出色，也可能災難性地失敗——目前尚無數據可供判斷。所有已公布的性能數據均視為未經驗證（無第三方數據支持）。

Tenstorrent Blackhole——開源模式 

多市場戰略與開源技術 

Tenstorrent是本次對比中最具特色的參與者。其戰略由Jim Keller（曾任職于英特爾、AMD、蘋果和特斯拉）領導，同時面向多個市場：數據中心推理、邊緣與嵌入式推理，以及向其他制造商提供RISC-V IP授權。其軟件棧（tt-metal）完全開源，這在專業ASIC生態系統中實屬罕見。

Tensix架構：RISC-V + matmul 

Tenstorrent的核心是Tensix內核。每個Tensix集成了一個5核RISC-V CPU（用于任務調度），以及向量單元和矩陣引擎。在Blackhole（2024年，TSMC 6nm）中：

• 每顆芯片配備120個Tensix核心

  
  

• 每顆芯片配備32GB GDDR6（非HBM——出于經濟考慮的選擇） 

  
  

• 芯片內有210MB SRAM 

  
  

• 支持774 TFLOPS FP8性能（Blackhole p150）

上一代Wormhole n300（仍可購買），集成128個Tensix核心、192MB SRAM和24GB GDDR6。

真實基準測試：理論峰值的50% 

2025年11月，The Register發表了一項對QuietBox的獨立測試，該設備是一款售價約1.2萬美元的Tenstorrent Blackhole工作站。

• 實際性能：在Llama 3.1 8B 上達到理論峰值的約50% 

  
  

• 在LLM 推理過程中，120 個Tensix 核心中有76 個（校正前）未被使用——專為Wormhole 優化的內核尚未移植到Blackhole 

  
  

• 單P150 性能 ≈ 測試模型上的Nvidia DGX Spark，盡管Blackhole 在理論上具備2-3 倍優勢 

  
  

• The Register 的評價：“缺乏針對LLM 推理優化的內核是一個不可原諒的缺陷”

簡單來說：Tenstorrent 提供了硬件，但用于利用這些硬件的軟件尚未達到理想水平。這就像擁有一臺一級方程式賽車發動機卻只配了自行車輪胎——動力存在，卻無法發揮出來。重要的一點是：tt-metal 正在GitHub 上積極開發，2025年11月的數據并非最終結果。

融資與發展軌跡 

• 籌集資金6.93億美元（由AFW Partners和三星證券牽頭，LG、Fidelity及Bezos Expeditions參與）——估值26億美元

  
  

• 融資時已簽署1.5億美元合同 

  
  

• 2025年11月：討論進行下一輪8億美元融資，估值32億美元（由Fidelity牽頭） 

  
  

• 路線圖：每兩年硬件更新一次（Blackhole 2024 → 下一代產品計劃于2026年左右推出） 

  
  

獨立基準測試實際顯示的內容 

在比較這些玩家時存在結構性限制：它們均未定期參與MLPerf推理基準測試（這是行業官方基準測試，由獨立第三方仲裁）。目前尚無標準化的對比數據?？捎玫臄祿碜匀齻€質量不一的來源：

最可靠的數據——人工分析（獨立云基準服務）：

簡單來說：如果沒有MLPerf，2026 年4 月唯一可獲得的嚴格對比基準是Groq 和SambaNova 的人工分析。所有其他數據都應謹慎對待。

2026年值得關注的要點 

AI推理ASIC初創企業市場在2026年正經歷一次強制洗牌。三大信號：

首個信號——驗證與承諾之間的差距。在生產環境中已獲驗證的玩家（如Cerebras結合OpenAI和AWS，SambaNova結合DeepSeek及企業客戶）與尚未驗證的玩家（如Etched，仍基于純推理的Tenstorrent）之間的鴻溝正在擴大。只要沒有外部客戶在實際生產中測試過，ASIC就仍被視為一種承諾。

第二個信號——整合已經開始。英偉達以200億美元收購Groq并非偶然，而是表明LPU技術已足夠成熟，值得英偉達將其集成到其Vera Rubin平臺上。同時，這也證明了即使擁有業內頂尖的延遲表現，獨立于英偉達生存也十分困難。

第三個信號——2026年真正重要的問題。Blackwell GPU（H200、B200、B300）的推理效率提升速度遠超預期?，F在真正的問題不再是“誰的模型生成速度最快”，而是“GPU推理是否能快速引發成本下降，讓超大規模云服務商仍愿意繼續使用這些初創公司的產品？還是說，它們都將被內部化，就像AWS（Trainium）、Google（TPU）和Meta（MTIA）那樣？”

這里描述的五種架構給出了不同的答案——但市場反應將通過2026至2027年的收入來體現。

原文鏈接：

< 長按識別二維碼添加好友 >

加入上述群聊

長按并關注

帶你走進萬物存儲、萬物智能、

萬物互聯信息革命新時代

微信號：SSDFans