AI下沉端側，如何破解“存儲墻”難題？

當AI從云端向邊緣和終端設備遷移，一場以“端側AI”(Edge AI)為核心的技術應用革命正悄然到來。

在這場變革中，我們必須思考的是，數十億乃至數百億臺終端設備的未來發展方向——特別是打破它們依賴云端連接才能運行AI任務的固有模式。這些設備必須成為真正具備AI能力的端側系統，能夠以更高效率執行端側推理，其計算能力以每瓦特所能達到的萬億次運算次數(TOPS/W)來衡量。

與AI數據中心不同，對于端側實時推理，業界強烈推動在更靠近數據產生的地方(即設備端)實現AI加速。但與此同時，端側AI也帶來了新的挑戰：除了算力不足之外，還必須考慮內存性能，并且嚴格限制每個用例的能耗和成本。這些限制凸顯了一個越來越清晰的現實：在構建任何高效的端側AI解決方案時，計算能力與內存資源正逐步成為同等重要的關鍵構成要素。

更值得關注的是，曾經僅作為數據“倉庫”的存儲芯片，正被賦予“計算使命”——不再只是被動地保存代碼與參數，而是成為端側AI推理的“神經中樞”與“算力引擎”。如今，傳統馮·諾依曼架構下的“內存墻”與“功耗墻”挑戰，正推動業界探索兩大方向：一是通過不斷迭代傳統架構下的存儲性能，以及探索開發新的存儲載體；二是轉向更高效的計算架構(存算一體化)，以實現計算與存儲的融合。

本文將深入剖析這一應用變革，重點從存儲硬件載體、架構演進出發，探討產業界如何應對端側AI帶來的機遇與挑戰，并展望存算一體等顛覆性技術的應用前景。

“存儲墻”：端側AI的“阿喀琉斯之踵”

端側AI是指將AI模型的訓練或推理過程直接在數據產生的源頭——即物理世界中的終端設備上執行，而無需將數據發送到云端數據中心。這些設備涵蓋了智能手機、智能攝像頭、自動駕駛汽車、工業物聯網(IIoT)網關、可穿戴設備乃至家用電器(圖1)。

圖1：端側AI應用場景示意圖。(來源：Apple、DJI、TP-LINK)

端側AI的崛起并非偶然，而是由一系列實際需求驅動的必然趨勢：

1.實時響應性：自動駕駛、工業機器人等應用場景對決策延遲的要求達到了毫秒級，將數據遠距離傳輸至云端再返回結果的模式無法滿足需求。

2.數據隱私與安全：在本地處理個人健康數據、面部識別信息等敏感數據，可以有效避免數據在傳輸和云端存儲過程中被截獲或濫用的風險。

3.網絡帶寬與成本：隨著高清視頻流、激光雷達等傳感器產生的數據量爆炸式增長，持續依賴云端傳輸會消耗巨大的網絡帶寬，并產生高昂的運營成本。

4.連接可靠性：在網絡連接不穩定或中斷的環境下(如偏遠地區的設備或移動中的車輛)，端側AI能夠保證核心功能的持續運行。

據Fortune Business Insights預測，全球邊緣AI芯片市場正經歷高速增長。2025年，全球邊緣人工智能市場規模為358.1億美元。預計該市場將從2026年的475.9億美元增長到2034年的3858.9億美元，預測期內復合年增長率為33.30%。這一巨大的市場潛力正吸引著全球半導體廠商的目光。

然而，AI算法的強大能力建立在海量數據和復雜模型之上，這給傳統的、基于馮·諾依曼架構的計算系統帶來了嚴峻挑戰。馮·諾依曼架構的核心特點是計算單元(CPU/GPU/AI加速器)與存儲單元(DRAM/閃存)在物理上分離，二者通過數據總線連接。在AI應用中，這意味著模型的權重參數和待處理的數據需要在存儲和計算單元之間頻繁地來回搬運。

這種分離式架構導致了兩個核心問題，統稱為“馮·諾依曼瓶頸”(圖2)：

1.功耗墻：研究表明，在現有CMOS工藝下，數據搬運所消耗的能量遠高于計算本身。將一個數據從DRAM移動到計算核心的能耗可能是執行一次浮點運算的數百甚至上千倍。在功耗預算極其有限的端側設備中，這種能量開銷是不可接受的。

2.存儲墻：過去幾十年，處理器的性能以遠超內存帶寬和延遲改善的速度增長。這種性能差距形成了所謂的“存儲墻”。AI加速器即使擁有高達每秒數萬億次(TOPS)的理論算力，但如果存儲系統無法及時“喂飽”數據，其大部分時間都將處于空閑等待狀態，導致實際性能大打折扣。

圖2：傳統架構因數據搬運受限于“馮·諾依曼瓶頸”；存內計算將運算移至存儲內部，降低能耗、提升效率。(來源：普渡大學)

美光科技工業業務部門高級細分市場營銷經理Wil Florentino形容這一問題：“這就像造一輛搭載500馬力發動機的汽車，卻使用了低辛烷值汽油，以及性能不佳的輪胎。無論發動機多么強勁，汽車的整體性能都會受到系統中性能最差部件的限制。”

對于端側AI而言，“存儲墻”問題尤為突出。一方面，AI模型(尤其是生成式AI模型)的參數量持續膨脹；另一方面，端側設備受限于成本和物理尺寸，無法像服務器那樣配置海量的、高速的內存。因此，存儲系統已然成為制約端側AI性能、功耗和成本的關鍵瓶頸。

存儲技術如何應對端側AI挑戰？

面對端側AI的挑戰，存儲技術正沿著兩條路徑演進：一是傳統技術的持續優化和適配；二是顛覆性新興技術的商業化落地。

作為當前端側設備中最主流的工作內存，DRAM技術仍在不斷迭代，其中專為移動和低功耗場景設計的LPDDR(Low-Power Double Data Rate)系列是主力軍。LPDDR5X被譽為端側AI的“高速公路”，是中高端智能手機、AI PC和高端邊緣計算平臺的主流選擇。目前，美光等廠商推出的LPDDR5X內存，已實現高達9.6Gbps的峰值帶寬，這一速率相比初代LPDDR5(6.4Gbps)提升了約50%。同時，它通過優化信號完整性和1β等先進工藝，顯著降低了數據傳輸的延遲，滿足了端側生成式AI(如手機端LLM)對頻繁、小規模數據交換的高吞吐需求。據悉，Galaxy S26 Ultra將搭載更先進的10.7Gbps LPDDR5X內存。

AI的下沉不僅體現在手機和PC上，更延伸至AR/VR眼鏡等新興的頭戴設備。集邦咨詢邱宇彬在MTS2026存儲產業趨勢研討會上描繪了AR眼鏡的六大應用場景，從實時翻譯到健康監控，無不依賴于對周圍環境的實時感知和快速響應。這對存儲提出了前所未有的挑戰：超薄、小型化、大容量、高速度。為此，深圳時創意通過采用先進的SDBG隱切工藝和C-Molding技術，成功推出0.6mm超薄ePOP存儲產品，并實現LPDDR5X在AI眼鏡上的量產。

表1：LPDDR5系列與LPDDR6總結對比表(2026)。(來源：根據公開資料整理)

2025年7月，JEDEC協會正式發布了LPDDR6標準(表1)。LPDDR6的起始速率預計將突破10.667Gbps，最高可達14.4Gbps以上。預計，2026年是LPDDR5X的性能巔峰期，同時也標志著行業開始向LPDDR6架構進行技術平移的準備期。

盡管LPDDR系列性能不斷提升，但其作為易失性存儲(斷電數據丟失)和基于馮·諾依曼架構下的獨立組件，其本質并未改變。它仍然面臨著刷新功耗、數據搬運開銷等固有問題。特別是隨著工藝微縮至1β或更先進工藝，存儲單元越發微小，漏電風險增加，導致刷新頻率必須更高。這使得在待機狀態下，刷新功耗占據了系統功耗的很大比例，違背了移動設備對長續航的追求。

對于端側AI而言，存儲不僅要大，加載速度(讀取帶寬)也必須足夠快，以實現“無感”啟動AI應用。近年來，以LPDDR5X(內存)和UFS 4.0(閃存)為代表的新一代移動存儲標準，通過緊密的協同進化，構成了支撐端側大模型運行的“性能鐵三角”的另外兩極(另一極為SoC)。

UFS 4.0/4.x目前是2026年主流旗艦的核心存儲方案，支持高達4.3GB/s的讀取速度。這意味著加載一個30億參數的AI模型只需不到0.5s。這主要得益于它極高的順序讀取性能，能快速把模型數據從存儲搬到內存里，為端側AI運行掃清了關鍵障礙。近期，鎧俠就已宣布向客戶UFS 4.1閃存樣品，其性能全面升級，隨機讀取性能飆升90%，可滿足端側AI設備對大容量存儲的迫切需求。

同樣，JEDEC已于2025年末定案UFS 5.0標準。2026年開始有首批產品送樣，如美光科技已針對基于1γ工藝的LPDDR6等移動DRAM產品送樣。其理論速度翻倍至10.8GB/s，并針對AI密集型數據訪問路徑進行了專門優化。預計搭載該標準的終端將在2026年底至2027年初面世。

而在輕量級端側AI(如智能穿戴、工業傳感器)中，NOR閃存的需求量也將因AI固件代碼量的增加而顯著提升。

值得關注的是，端側AI(如手機本地運行大模型)對內存帶寬的需求激增，傳統的LPDDR5X/6已逐漸難以滿足每秒數兆次的Token生成速度，這倒逼了存儲架構的革命。未來幾年，高帶寬內存(HBM)在端側的應用將是利基市場。盡管HBM涉及復雜的3D堆疊、TSV制造和2.5D先進封裝，成本極高，與端側設備的價格敏感性背道而馳，但在面向需要極致性能的高端邊緣設備，如車載計算平臺、高端旗艦智能手機(2027年20周年紀念版iPhone被傳將引入HBM)、高端工業自動化網關等，仍將有一定的市場空間。

業界普遍認為，2026年是“移動HBM”實現初步商業化的關鍵一年。目前，存儲巨頭都在積極推進HBM技術的迭代(比如，三星和SK海力士就分別開發了VCS和VFO技術，以實現移動HBM的量產；SK海力士的HBM2E已用于谷歌旗下的Waymo自動駕駛汽車)，并探索集成處理內存(PIM)能力，以進一步減少數據搬運。這些技術探索可能為未來更高集成度的端側AI芯片提供借鑒。

此外，新興非易失性存儲器(NVM)是解決端側AI存儲痛點的關鍵變量。它們不僅能在斷電后保存數據，還具備傳統閃存所不具備的高速、低功耗和高耐久性等優點，使其成為替代部分SRAM和DRAM、并與AI計算深度融合的理想選擇，比如阻變存儲器(ReRAM)、磁性隨機存取存儲器(MRAM)等。

存算一體：讓數據“就地思考”

如果說主流與新興NVM是在“優化”馮·諾依曼架構，那么存算一體(CIM)則是在“顛覆”它。

對此，時創意董事長倪黃忠在MTS2026存儲產業趨勢研討會上指出：“2023年是一個關鍵的轉折點。隨著AI大模型推理的規模化落地，‘以存代算’成為行業共識，標志著存儲角色的根本性轉變。存儲不再只是AI算力體系中可有可無的配套組件，而是從幕后走向臺前，躍升為降本增效的核心路徑，并在AI基礎設施集約化發展中扮演戰略性物資的角色。”

為了打破“存儲墻”瓶頸，2026年的技術路徑之一開始從“存儲數據”轉向“在存儲中計算”，即通過將計算與存儲深度融合，旨在從根本上消除數據搬運帶來的功耗和延遲瓶頸。

廣義的存算一體技術根據融合程度的不同，可以分為三個層次：

1.近存計算(NMC)：這是最容易實現的形式。它不是在存儲單元內部計算，而是通過先進封裝技術(如2.5D/3D堆疊)將計算邏輯芯片和存儲芯片極度靠近地封裝在一起，大幅縮短數據傳輸路徑，從而實現高帶寬和低延遲。

2.存內處理(PIM)：在這種模式下，少量的計算邏輯單元被集成到存儲芯片的IO接口或控制器等外圍電路上。比如，三星和SK海力士正在探索的HBM-PIM技術，就是在HBM的每個存儲體(Bank)附近放置一個小型處理單元，可以在數據出庫前進行一些簡單的預處理。

3.存內計算(CIM)：這是最徹底的融合形式。計算操作直接在存儲單元陣列(Memory Array)內部完成。這通常利用存儲單元(如SRAM、ReRAM、閃存)的物理定律來實現。比如，利用ReRAM交叉陣列執行模擬域的向量矩陣乘法，是CIM的典型范例。

隨著技術成熟，一系列存算一體芯片方案開始涌現，它們針對不同的應用場景和技術路徑，展示了CIM的巨大潛力。

其中，三星和SK海力士通過在DRAM內部集成邏輯處理單元，改變了傳統的馮·諾依曼架構。其核心優勢是直接在存儲器內部執行大規模并行計算(如AI矩陣運算)，可減少內存與CPU/GPU之間80%以上的數據搬運能耗。目前，三星的HBM-PIM已被集成到主流AI加速器中；SK海力士則推出了存內加速器(AiM)解決方案，顯著提升了大語言模型(LLM)的推理速度。

而華邦電子的CUBE是近存計算理念的產業化解決方案。它并非一個標準的內存產品，而是一種專為端側AI設計的定制化高帶寬3D DRAM解決方案。CUBE采用創新的3D堆疊架構，通常將客戶的系統級芯片(SoC)裸片(Die)置于上層，而將華邦的DRAM Die置于下層，兩者通過高密度的TSV進行垂直連接。這種架構相比傳統的PCB布線，將SoC與DRAM的距離縮短了幾個數量級。

可以說，CUBE作為一種內存解決方案，通過其與SoC的超高帶寬接口，為AI加速器提供了一個幾乎無延遲的“海量片上緩存”，從而實現了近存計算的效果。這種方案特別適用于對功耗、尺寸和帶寬要求極高的端側AI設備，如AI PC、高端AR/VR眼鏡等。

此外，在眾多存算一體技術路線中，基于新型NVM的方案備受矚目。其中，ReRAM因其獨特的物理特性，成為業界關注的焦點。在端側AI中，ReRAM主要有兩個應用方向：一是作為高能效的嵌入式非易失性存儲，用于存放AI模型的權重參數，實現系統的“即時啟動”和低待機功耗；二是被用作存算一體宏單元，直接在存儲陣列中執行AI推理計算，大幅降低數據搬運。

目前，一些存儲企業正在積極推動ReRAM在邊緣AI解決方案中的商業化。芯天下技術負責人錢剛博士就指出，ReRAM具備多電平存儲能力，易于擴展至28nm以下先進工藝，并在容量、速度、功耗和面積上展現出綜合優勢。更重要的是，ReRAM天然適合模擬存算。

他認為，在模擬存算架構中，AI運算中最核心的乘累加(MAC)操作，可以直接利用歐姆定律(電流=電壓×電導)和基爾霍夫電流定律(節點電流總和為零)在物理層面高效完成。存儲單元的電導值代表權重，輸入的電壓代表激活值，輸出的電流自然就是乘累加的結果。這種方式避免了數字電路中復雜的邏輯門操作和模數轉換(ADC/DAC)，從而獲得了極高的能效比和計算吞吐率。

目前，芯天下已啟動存內計算加速芯片的研發計劃，選擇了基于ReRAM的模擬存算架構。其路線圖清晰：計劃于2026年底流片，并在2027年實現量產出貨。這款芯片將具備10-50TOPS的算力和超過50TOPS/W的超高能效，并被設計為可無縫集成到現有MCU或DSP系統中的協處理器，通過“算力無感擴容”的理念，為終端設備帶來優異的低功耗AI體驗。

值得一提的是，隨著端側設備變得越來越復雜，內部不同處理單元(CPU、GPU、NPU、ISP等)之間以及它們與內存之間的高效通信變得至關重要。新型互聯標準CXL正為此提供解決方案。盡管CXL目前主要應用于數據中心，但其技術理念對未來的高端邊緣計算具有重要的啟示和應用潛力。目前，幾乎所有主流芯片和系統廠商(Intel、AMD、Arm、三星、美光等)都已加入CXL聯盟并推出相關產品。隨著技術的成熟和成本的下降，CXL或其簡化版本未來有望滲透到高端邊緣市場。

結語

AI從云端向端側的下沉，不僅是應用場景的拓展，更是一場深刻的底層技術革命。在這場革命中，“存儲墻”既是最大的障礙，也是最大的機遇。產業界通過主流存儲、新興NVM等技術的協同進化，為端側AI的初步落地鋪平了道路；而存算一體等顛覆性架構的探索，為解決端側AI面臨的終極性能和功耗挑戰，描繪了清晰的技術藍圖。

未來的競爭，將不僅是算力的競爭，更是“存力”與“算力”深度融合后，系統級能效與體驗的競爭。誰能率先跨越“存儲墻”，誰就將掌握端側AI時代的制勝先機。這場圍繞存儲的創新競賽，才剛剛拉開序幕。

本文為《電子工程專輯》2026年4月刊雜志文章，版權所有，禁止轉載。免費雜志訂閱申請點擊這里。