不帶獨顯的端側AI進化到這程度了？本地推理235B大模型也行...

今年上半年，我們曾撰文提到過，隨著AI技術棧的進步，短短3年時間內，若以GPT3的智能水平為參考，則達成相似質量的AI模型推理成本下降了超過千倍——云上AI服務的單位token推理價格肉眼可見的越來越便宜。

這一趨勢也自然而然地流向了端側與邊緣：體現在去年還需要高端獨立GPU做到的AI負載，今年通過與CPU集成在一個封裝內的iGPU、NPU就能滿足要求。最近的Intel Connection活動上，我們在逛展區的時候就聽到工作人員介紹說某AI PC筆記本可以本地推理32B參數量大模型——要知道2年前發布的Meteor Lake，作為最初推廣的AI PC移動處理器，能支持模型的最大規模不過7B參數量...

Intel Connection同期的“AI新技術和軟件創新論壇”上，高宇（英特爾中國區技術部總經理）說酷睿Ultra 200H系列（Arrow Lake）處理器，搭配大內存，就已經能夠跑最大參數量120B的大模型了——也就是說，搭載當代酷睿Ultra處理器的端側或邊緣AI設備，能跑千億參數大模型，這在前兩年還是不可想象的。

當然一方面是端側與邊緣芯片本身在強化AI算力，比如Arrow Lake-H標稱的AI總算力為99TOPS，Lunar Lake進化到了120TOPS，明年初要上市的Panther Lake則要達到180TOPS的AI算力水平。單封裝內的不同處理器，都在各自強化AI能力：CPU通過擴展指令集加速，iGPU則在矢量單元之外加入XMX矩陣擴展引擎，NPU更是專用的AI加速器...

另一方面，我們認為更關鍵的還是在于軟件層面的進步，包括軟件棧的不同組成部分，以及AI模型本身。高宇在談AI演化趨勢時，提到LLM走向“大而稀”（參數量大，但稀疏化），“特別適合在端側部署——因為它需要更高的存力，對算力要求則相對沒那么高”；還有些模型走“小而專”的路子，以小尺寸應對特定領域。這兩者是實現端側或邊緣Agentic AI的基礎。當然從這張PPT來看，多模態輸入輸出也成為端側模型進化的重要趨勢。

所以我們才在談Intel邊緣市場的文章里說，Intel強調大量邊緣AI應用場景不需要獨顯的事實。借著這場論壇及Intel展示的諸多演示，我們來看看現在的邊緣AI，在相對低成本之下所能達成的AI智能化水平已經走到了哪里——不管是基于酷睿Ultra處理器，還是在有性能擴展需求、增加獨顯的場景下，這關系到了邊緣與端側AI，尤其主流AI PC、AI工作站、AI Box等設備，是否真的能產生價值的問題...

上128GB內存，跑120B模型

Intel這次在活動上演示的主體就是酷睿Ultra 9 285H + 大內存。關注電子工程專輯的讀者對于酷睿Ultra 9 285H這顆處理器應該不陌生——因為它就用在常見的筆記本上。當然，酷睿Ultra同時作為邊緣市場的主力，也用在AI工作站、AI Box、AI NAS及更多行業應用之中。

酷睿Ultra 9 285H作為Arrow Lake-H家族的一員，CPU+iGPU+NPU的AI標稱總算力99 INT8 TOPS；內存最大支持到雙通道128GB（LPDDR5/X-8400, DDR5-6400）——這兩點均為尋常。高宇說，將演示中的酷睿Ultra 9換做Ultra 7或Ultra 5，也會有相似的效果。

處理器單封裝內集成CPU和其他AI加速單元，價值之一在于共享內存——也就不像獨顯那樣受制于固定的顯存容量；Intel幾個月前為酷睿Ultra系統新增了“shared GPU memory override（共享GPU內存覆蓋）”選項——和隔壁“variable graphics memory”特性相似，讓集顯能夠拿到更多的VRAM資源，尤其可以滿足本地LLM推理一類負載需求。

在此之前，iGPU只能使用最多一半的系統內存。現在在Intel Graphics軟件中，可以選擇VRAM從系統內存中分配的比例。高宇在演講中說該平臺下，最多能夠將近96%的主存用于顯存——即對于128GB容量的主內存而言，120GB可用于VRAM，也就能夠塞進更大規模的模型，是跑最大120B參數模型的實現基礎；對于96GB內存配置，也有90GB可用作VRAM。如此一來，AI PC或其他邊緣AI設備也就有機會解鎖更多AI使用場景。

不過高宇還強調，“Intel的共享顯存與競爭對手的一大區別，在于所有內存可同時讓CPU與集顯使用——即便劃歸90GB顯存給集顯，也不代表CPU就不能用這些資源了。”未來有機會，我們可就這種內存的動態分配機制做深入探討。

針對“更大模型”支持，Intel現場演示了用酷睿Ultra 9 285H + 96GB內存跑從20B到120B不同規模的AI模型：雖然通過文字很難明確描述這個過程，不過有兩個關鍵是格外值得分享的。

首先是更大參數量的模型，的確表現出了明確更高的智商。針對GPT-OSS-20B、Qwen3-30B-A3B、Qwen3-80B-A3B、GPT-OSS-120B這四個模型，問出相同的問題，從20B模型的簡單回答，到120B模型可從更多維度、甚至通過更直觀的表格來詳細、縝密地呈現答案，還是能夠看出AI模型scaling law的價值的。

其次，演示跑GPT-OSS-120B模型時，VRAM占用達到了67GB——很多消費級獨顯在這樣的VRAM要求面前會顯得無能為力，24GB VRAM的顯卡需要3張才能解決問題。目前Flowy AI助手也已經集成了GPT-OSS-120B模型——這種規模的LLM模型智能程度應當是更上一層樓的，用高宇的話來說，“這套方案非常親民，并且唾手可得。”

另在大內存的支持下，現場還演示了給80B模型輸入《紅樓夢》前五章，在超過30K輸入窗口、給定劇情走向限定詞的情況下，讓AI續寫。AI也能有模有樣地按照《紅樓夢》原作的口吻，輸出大約1500字的命題作文。這一例中的長輸入窗口，以及大參數量模型的支持，還是讓人看到了端側本地LLM推理，在實用性方面的顯著加強的——因為以往端側LLM應用的一大問題就是較低的智能程度所致的實用性差。

不用獨顯的AI，能有什么用？

不過如果只是用這套系統來做人機問答，實用性未免還是差了些。所以Intel給出的其他演示，還包括基于DeepSeek OCR的光學字符識別，TTS聲音克隆，和結合完整工作流的媒體復雜任務處理，可以算是生產力應用上的潛力展示了。

比如基于Transformer的DeepSeek OCR——果然CV也越來越多地開始轉向更高智能度的Transformer結構網絡：在即便輸入一張包含圖文混排+表格的復雜文檔照片的情況下，輸出都能給出準確的整理——包括表格以markdown形式呈現，直接就能拿來用；還有諸如對于學生有價值的試卷、作業拍照后的OCR整理等應用，也普遍有著理想的輸出速度...

展區的AI PC演示不少，比如AI做PPT（ChatPPT），AI健康檢測，QQ音樂的端側音伴分立、即時靈感成曲音樂生成等…還如上圖AI鼠標在內的AIPC外設展示…

而TTS聲音克隆，也就是輸入特定人聲后，可推理出基于該人聲特點的其他演繹。比如現在的一些云服務提供的AI功能：錄入你的聲音30秒，就能用你的聲音去朗讀任意文字、唱歌、配音。除了云端，實際上去年我們在獨顯的AI應用中也見過此類演示，今年竟然就已經不需要再依托獨顯了。

聲音克隆只是TTS文字轉語音的一個應用方向，它整體上是個令內容有聲化，可面向內容創作、無障礙輔助等場景的技術方法。高宇說酷睿Ultra已經對主流的TTS模型實現了第一時間的適配，如FastSpeech2, GPT-Sovits, OpenVoice2, FireRedTTS2, MeloTTS等。

現場演示的TTS聲音克隆，是輸入兩個人的聲音樣本，然后基于此，配合對應的文字輸入，來推理出用這兩個人的聲音，實現自定義對話。用于內容創作時，還是個挺省人力的過程；據說配合輸入上的調教，未來可以更進一步地在輸出的聲音之中表現不同情感與風格。

最后Intel還基于酷睿Ultra 285H，演示了組合OCR+LLM+MCP（模型上下文協議）+TTS+I2V（圖生視頻）的復雜任務處理過程：先用OCR搜集信息，然后用LLM分析并生成文字大綱，借助MCP調用工具，再用TTS生成人聲，加入到I2V生成的視頻之中。“用一臺酷睿Ultra 9 285H的PC，加上幾名工程師，用幾個小時的時間，完成一個工作室可能需要3天甚至1周才能干完的活兒。”

當然我們知道一般創作此類內容的工作室，會用獨顯去完成這套工作流，不過這個演示還是讓我們看到了低成本用AI完成復雜任務的潛力的——也符合當代AI技術普惠，大眾內容創作的時代潮流。

一些端側/邊緣AI的新嘗試...

端側AI的技術普惠的確有個大前提：絕大部分人選購的PC或AI邊緣設備，還是不帶獨顯這種高并行算力資源的。所以很容易想見，這些年AI技術棧自下而上的各層級，都在想方設法地讓更多的AI技術，有機會放在更大眾和主流的設備上去跑——也才催生了大核顯配大內存這樣的產品類型。

因此，Intel這次在活動上也展示了不少采用酷睿Ultra 9 285H + 96GB內存的端側與邊緣設備，包括筆記本、mini PC主機、小型工作站、AI Box等。據說包括極摩客、零刻、Geekom、六聯、Khadas等在內的OEM企業，都在推相似配置的“小盒子”產品。

不過從整機角度來看，這些設備也沒有跳脫常規?，F場讓我們感覺到眼前一亮的有兩個比較有趣的設備形態，其一是搭配了所謂“AI SSD”的端側設備。關注基于Transformer基礎結構AI模型的讀者應該知道，在生成輸出token之前，有個prefill階段——是模型處理用戶輸入提示詞，并針對attention層構建KV cache的過程。

PHISON在GTC 2024上展示的有關aiDAPTIV+技術的兩頁關鍵PPT

一般我們說prefill對算力更敏感（對應于后面的decode階段對存力更敏感）。這個階段算出來的KV cache通常放在內存之中，否則就要被丟棄——后續若有需要，再重算KV對應關系。“所以Intel和PHISON共同開發了aiDAPTIVE+技術”，這是一種將KV Cache存在AI SSD上實現“持久化”的技術——去年GTC上，PHISON也展示過這種技術（但好像當時主要談的是AI SSD用在訓練場景）。

“在遇到類似的問題時，也就不需要重新計算，直接從AI SSD讀取就行，也就節省了計算時間，實現了加速。”這是種典型的以存代算的優化技術方案，“配合PCIe Gen 5x4、NVMe”令其成為可能。不過高宇介紹說，除了減少重復的prefill計算之外，aiDAPTIV+技術帶來的價值還包括，因為可以用SSD作為存儲介質，內存中只保存激活的MoE即可，省下來的內存可以跑更大的模型；減少KV cache存儲區域，也就能夠支持更長的上下文窗口。

用上了AI SSD的筆記本

實際使用中的最直觀感受應該是TTFT（首token時間）明顯更快。在Intel的場景演示中，配了AI SSD的設備的確實現了更快的推理速度，包括搭配RAG的LLM代碼問答、VSCode之中的代碼解析與修改——“在演示的代碼場景下，整個項目有8K左右的輸入。”“我們的實驗數據證明有7-8倍的速度提升”——用了AI SSD的首token只需要1秒，沒有用的同配設備就要7-8秒。

“AI SSD以存代算能夠實現加速的場景很多，比如視頻會議、長文本總結等，值得大家挖掘。”

另一個比較有趣的演示，是兩臺酷睿Ultra 285H + 96GB內存的設備，借助Thunderbolt互聯的高帶寬與低延遲，來跑更大的模型或并發更多用戶或模型。演示是由Thunderbolt互聯雙機，去跑Q4KM量化的235B模型，現階段能夠以6-7tokens/s的速度輸出。

實現詳情未知，會上提到主要是通過管線并行（PP）/張量并行（TP）+專家并行（EP），“將參數拆到兩個盒子里，實現雙機算力與存力的疊加”，得以跑更大的模型。高宇補充說，雖然現在暫時只做到了6-7 tokens/s的輸出速度，但“這還只是剛出爐的demo，工程師還在打磨，預計等到Panther Lake發布時，雙機雷電互聯會達到令人震驚的效果”。

這種雙機互聯未來也可以支持更多的并發——包括多用戶并發：“支持數據并行，承載更多客戶群也可以做到，現階段正在打磨”；以及多模型并發：“支持兩臺設備部署不同的模型，我們會設計一個路由模型，將任務分解到對應的設備中，該場景也正在打磨”。

Arc獨顯與異構生態擴展

除了主打的酷睿Ultra處理器，在Intel的端側/邊緣AI生態中，Arc與Arc Pro獨顯也是其中一環——尤其過去這幾個月Intel一直在宣傳的用于所謂AI工作站的Arc Pro B60。Intel Connection展區能看到不少OEM廠商推出從酷睿Ultra配單卡Arc Pro B60的5L主機，到至強W配四卡Arc Pro B60的50L設備，最高支持到8卡方案。

Intel似乎有意于擴展“邊緣工作站”這一品類的范圍，讓此類產品形態極大豐富

此前已經見過數次的來自銘瑄的一卡雙芯Arc Pro B60顯卡，48GB VRAM...活動現場演示中，就有用一張雙芯Arc B60 Pro顯卡，跑通涵蓋AI助手自我介紹、看圖說話、智能問答（基于MoE、具備COT推理能力）、文生圖、OCR...以及AI助手形象本身借助Wan2.2-14B模型完成打造等等8、9個模型串聯的一套部署方案

除了用于邊緣高密度需求的多卡方案，以及搭配酷睿Ultra或至強的異構加速方案——雖然現場沒有看到對應方案，不過Intel表示B60現在也支持“混合靈活部署”，比如可以和Gaudi 2E搭配，“在一臺設備上完成更多任務負載”。

現場借助獨顯來做高質量圖生圖、圖生視頻之類的演示，都算是尋常。有個Arc Pro B60四卡設備上的個人智能助理演示值得一提——演示中下發的指令是“制定重慶兩日游的文案，我需要發在小紅書上”，后續工作能體現Agentic AI的能力，而不只是一個LLM模型的簡單接龍。

即面對該指令，AI能夠將其拆解成不同的子任務，每個子任務都通過MCP工具和大模型問答，最終匯總為完整的答案：全程用到了地圖搜索、本地文件讀寫、網頁信息搜索、大模型問答、代碼生成等——“Agent調用這些工具來完成工作。”

而將不同的能力做組合，就構成了不同的助手類型，除了上述方案，再“比如文件讀寫和Mind map放在一起就是學習助手，能夠做思維導圖和知識整理”...“不同的組合構成了不同的agent，完全取決于大家的想象力和真實應用場景的需求。”這類型的負載，現如今竟然也能在個人或小型工作站設備上實現了。

走向更低成本的AI時代

無論是基于酷睿Ultra處理器本身更大規模、更多場景的AI模型推理，還是加入Arc獨顯以后搭建的多卡與異構AI推理工作站場景，以及上面演示的諸多組合AI負載工作流，提升生產力效率的示例，我們認為Intel嘗試反映的，應該是端側與邊緣AI能夠以越來越低的成本獲得。這與軟硬件兩方面的努力都是分不開的。

孫峪（英特爾中國區AI PC產品總監）在介紹生態合作伙伴時說，Intel自3年前開始做AI PC生態，“全球范圍內，目前我們已經有超過250個ISV合作伙伴，超過470個相關功能已經在AI PC上落地。我們也相信下一代Panther Lake產品發布之時，相關數據會有進一步增長。”他總結端側AI的兩點趨勢：

一是“觸角更加敏銳”——這體現的應該是端側AI越來越具備對于多模態、多種類信號的理解與分析能力：更深層面的內涵，我們認為在于端側AI硬件性能以及端側AI推理效率的顯著提升；

二是“應用場景更加廣闊”——雖然本文沒有在Intel合作伙伴的展示上做過多著墨，但上述演示實則已經能夠展現端側AI應用走向多樣化：這以第一點為實現基礎，不僅體現了端側與邊緣AI生態愈發完善，也表現出端側AI應用成本的下降——因為唯有成本下降，所謂的“AI普惠”以及AI在更多場景得到應用才有了依據。

無論你是否相信AI PC及更大外延的端側與邊緣AI的行業敘事，都不得不承認端側與邊緣AI的技術與市場正處在高速發展期，否則也不會出現區區一臺集顯端側設備能推動120B模型，兩臺推動235B模型的實現了。