STM32N647入門與進(jìn)階：為什么STM32也在集成NPU？（邊緣TinyML工具鏈）

原創(chuàng) 玩轉(zhuǎn)單片機(jī)與嵌入式 2026-07-06 07:38

汽車電子架構(gòu)重構(gòu)與智能連接革命 測(cè)試中斷？接觸漂移？5 道題找到根因

▼點(diǎn)擊下方名片，關(guān)注公眾號(hào)，獲取更多精彩內(nèi)容▼

這里是《賀老師講嵌入式AI》，我是《嵌入式AI：讓單片機(jī)學(xué)會(huì)思考》課程主理人，專注AI在MCU上的落地實(shí)踐。

在我的上一篇文章中，提到了“很多公司是為了用AI而用AI”。這句話讓我想起了STM32N647。STM32 不是早就能用 STM32Cube.AI 跑模型了嗎，為什么還要在 MCU 里集成 NPU？難道也是“為了用AI而用AI”？

今天針對(duì)這個(gè)疑問(wèn)來(lái)講講“為什么STM32也在集成NPU？”

STM32 不是不能跑 AI，而是 CPU 不該什么都扛

過(guò)去在 STM32 上跑 TinyML，常見(jiàn)任務(wù)是振動(dòng)分類、姿態(tài)識(shí)別、簡(jiǎn)單聲音事件、傳感器異常檢測(cè)。它們的共同特點(diǎn)是輸入規(guī)模不大，模型也不大。一個(gè)窗口采幾十到幾百個(gè)點(diǎn)，做濾波、歸一化或少量特征提取，再讓小模型輸出類別。只要 RAM 放得下，推理耗時(shí)能接受，CPU 完全可以承擔(dān)。

這類項(xiàng)目的 AI 更像一個(gè)“計(jì)算模塊”：數(shù)據(jù)準(zhǔn)備好以后，調(diào)用一次推理函數(shù)，得到結(jié)果，再交給業(yè)務(wù)邏輯處理。CPU 忙一會(huì)兒沒(méi)關(guān)系，因?yàn)椴蓸宇l率不高，控制動(dòng)作也不一定要求每幾毫秒刷新。很多 STM32F4、L4、G4、U5、H7 項(xiàng)目就是這么跑起來(lái)的，配合 CMSIS-NN 或 Cube.AI 生成的優(yōu)化 C 代碼，足夠完成不少實(shí)用任務(wù)。

但實(shí)時(shí)視覺(jué)和連續(xù)音頻不是這個(gè)量級(jí)。攝像頭一幀圖像進(jìn)來(lái)以后，至少要經(jīng)歷采集、緩存、裁剪、縮放、顏色轉(zhuǎn)換、歸一化、量化、推理、后處理和狀態(tài)決策。音頻任務(wù)也類似，麥克風(fēng)數(shù)據(jù)會(huì)持續(xù)進(jìn)入 DMA 緩沖區(qū)，固件要按固定窗口做特征，推理結(jié)果還要進(jìn)入投票、滯回、狀態(tài)機(jī)和告警策略。

這時(shí)候，AI 推理不再是主循環(huán)里偶爾調(diào)用一次的函數(shù)，而變成了系統(tǒng)里的周期性負(fù)載。CPU 如果一邊搬數(shù)據(jù)、一邊做預(yù)處理、一邊跑卷積、一邊處理通信和控制，表面上看是“能跑”，實(shí)際卻可能持續(xù)擠壓實(shí)時(shí)系統(tǒng)的余量。工程現(xiàn)場(chǎng)最麻煩的不是完全跑不起來(lái)，而是剛好能跑、偶爾卡頓、問(wèn)題又難以穩(wěn)定復(fù)現(xiàn)。

可以用一個(gè)簡(jiǎn)單的預(yù)算來(lái)理解。假設(shè)攝像頭任務(wù)希望接近 30 fps，每幀可用時(shí)間大約 33 ms。CPU 還要完成圖像搬運(yùn)、resize、顏色轉(zhuǎn)換、通信、UI 和控制邏輯。如果模型推理本身就占掉幾十毫秒，后面任何一個(gè)環(huán)節(jié)抖動(dòng)，都可能把整幀節(jié)奏拖垮。

再換成音頻任務(wù)。16 kHz 麥克風(fēng)每 10 ms 就有 160 個(gè)采樣點(diǎn)進(jìn)入系統(tǒng)，實(shí)際工程里常常要拼成 20 ms、40 ms、1 s 之類的窗口，再做濾波、FFT、Mel 或 MFCC 特征。CPU 如果在某個(gè)窗口上推理時(shí)間過(guò)長(zhǎng)，下一個(gè) DMA 半緩沖回調(diào)已經(jīng)來(lái)了，環(huán)形緩沖就會(huì)開始堆積。堆積不是立刻報(bào)錯(cuò)，它會(huì)表現(xiàn)為識(shí)別延遲變大、偶發(fā)漏檢、日志時(shí)間戳錯(cuò)位、調(diào)試時(shí)很難復(fù)現(xiàn)。

所以，STM32 需要 NPU 的根本原因不是“CPU 不夠高級(jí)”，而是實(shí)時(shí)系統(tǒng)需要明確分工。CPU 擅長(zhǎng)控制流程、外設(shè)調(diào)度、狀態(tài)機(jī)、異常處理和系統(tǒng)協(xié)同；NPU 擅長(zhǎng)把神經(jīng)網(wǎng)絡(luò)里大量重復(fù)的乘加計(jì)算按硬件流水線執(zhí)行。兩者分工清楚，系統(tǒng)才有機(jī)會(huì)穩(wěn)定。

哪些 STM32 項(xiàng)目真正需要 NPU？

判斷一個(gè) STM32 項(xiàng)目要不要 NPU，不能從“模型名字”開始看。圖像分類、聲音識(shí)別、異常檢測(cè)這些名字都太粗。同樣叫聲音識(shí)別，可能只是每隔幾秒判斷一次，也可能是一直監(jiān)聽(tīng)麥克風(fēng)；同樣叫圖像識(shí)別，可能只是按鍵觸發(fā)拍一張圖，也可能是攝像頭連續(xù)取流。真正決定架構(gòu)的是輸入規(guī)模、運(yùn)行頻率、模型算子和系統(tǒng)余量。

如果只是低頻傳感器分類，輸入是幾十維特征，模型是小 MLP 或很淺的一維卷積，普通 STM32 加 CMSIS-NN / Cube.AI 通常已經(jīng)夠用。為了這類任務(wù)強(qiáng)行上 NPU，很多時(shí)候只是增加成本和復(fù)雜度。更應(yīng)該優(yōu)先做的是采樣穩(wěn)定、窗口對(duì)齊、量化一致、狀態(tài)機(jī)可靠。

真正應(yīng)該認(rèn)真考慮 NPU 的場(chǎng)景，通常有幾個(gè)明顯特征：輸入本身比較重，比如圖像、頻譜圖、多通道音頻或較長(zhǎng)時(shí)間窗口；推理不是偶發(fā)動(dòng)作，而是連續(xù)運(yùn)行；模型主要由卷積、矩陣乘、深度可分離卷積這類可加速算子構(gòu)成；CPU 同時(shí)還要處理外設(shè)、通信、UI、控制或安全邏輯；項(xiàng)目對(duì)延遲、功耗或幀率有明確要求。

視覺(jué)任務(wù)：NPU 的價(jià)值常常出現(xiàn)在“連續(xù)輸入”之后

如果只是偶爾拍一張低分辨率圖片做分類，CPU-only 路線不一定不能接受。問(wèn)題從連續(xù)輸入開始變復(fù)雜：攝像頭接口要持續(xù)進(jìn)數(shù)據(jù)，圖像緩沖要占 RAM，預(yù)處理要消耗帶寬，推理還要在下一幀到來(lái)前結(jié)束。此時(shí)模型推理已經(jīng)不是一個(gè)孤立函數(shù)，而是整條視頻鏈路里最重的一段計(jì)算。

這也是 STM32N6 這類平臺(tái)有意義的地方。ST 官方資料中提到 STM32N6 是首款帶 Neural-ART Accelerator 的 STM32 MCU，同時(shí)具備 Cortex-M55、片上 RAM、攝像頭和多媒體相關(guān)能力。這里真正值得關(guān)注的不是單個(gè)參數(shù)，而是它試圖把攝像頭輸入、圖像處理、神經(jīng)網(wǎng)絡(luò)推理和 MCU 控制邏輯放在同一個(gè)設(shè)備級(jí)架構(gòu)里處理。

音頻任務(wù)：持續(xù)監(jiān)聽(tīng)比單次識(shí)別更考驗(yàn)系統(tǒng)余量

關(guān)鍵詞喚醒、聲音事件識(shí)別、設(shè)備異響判斷，看起來(lái)模型可能不大，但它們常常要求持續(xù)運(yùn)行。麥克風(fēng)數(shù)據(jù)不會(huì)等 CPU 空下來(lái)再來(lái)，DMA 半緩沖和滿緩沖會(huì)按固定節(jié)奏觸發(fā)，特征窗口也要按固定步長(zhǎng)推進(jìn)。如果推理耗時(shí)接近窗口步長(zhǎng)，系統(tǒng)就會(huì)進(jìn)入很危險(xiǎn)的狀態(tài)：平均看似能跑，峰值時(shí)卻會(huì)積壓。

NPU 在這類場(chǎng)景里的作用，是讓推理耗時(shí)從“可能擠占系統(tǒng)節(jié)奏”變成“可被穩(wěn)定安排的計(jì)算階段”。CPU 仍然負(fù)責(zé)音頻采集、緩沖、預(yù)處理、后處理和業(yè)務(wù)狀態(tài)機(jī)；NPU 負(fù)責(zé)執(zhí)行被工具鏈映射后的網(wǎng)絡(luò)層。這樣設(shè)計(jì)后，工程師更容易估算最壞情況，而不是只看某一次 demo 的平均推理時(shí)間。

多任務(wù)產(chǎn)品：AI 不能把通信、顯示和控制擠到角落里

很多真實(shí)產(chǎn)品并不是“只跑一個(gè)模型”。它可能同時(shí)有屏幕、按鍵、蜂鳴器、網(wǎng)絡(luò)通信、固件升級(jí)、日志存儲(chǔ)、看門狗、傳感器采樣和控制輸出。AI 推理如果占用 CPU 時(shí)間過(guò)長(zhǎng)，受影響的不一定是模型本身，而是 UI 卡頓、通信延遲、控制周期抖動(dòng)、日志缺失和看門狗誤觸發(fā)。

因此，是否需要 NPU，本質(zhì)上是在問(wèn)一個(gè)系統(tǒng)問(wèn)題：把神經(jīng)網(wǎng)絡(luò)計(jì)算放在 CPU 上以后，剩下的實(shí)時(shí)余量還夠不夠？如果答案不確定，說(shuō)明項(xiàng)目已經(jīng)不能只靠“主頻夠不夠”來(lái)判斷。此時(shí)更應(yīng)該把模型、輸入尺寸、窗口步長(zhǎng)、外設(shè)任務(wù)和后處理策略一起放進(jìn)架構(gòu)預(yù)算里。

可以把 STM32 AI 項(xiàng)目分成三類：低速傳感器任務(wù)，優(yōu)先把普通 MCU 做扎實(shí)；CPU 能跑但余量很緊的音頻、視覺(jué)和多傳感任務(wù)，先用工具鏈測(cè)實(shí)際耗時(shí)和內(nèi)存占用；需要連續(xù)圖像、持續(xù)音頻、多模型協(xié)同或 UI / 通信并行的任務(wù)，才是 NPU 真正發(fā)揮價(jià)值的地方。

最后要強(qiáng)調(diào)一句：NPU 不會(huì)讓一個(gè)松散的項(xiàng)目突然變專業(yè)。它只是在數(shù)據(jù)鏈路正確、模型結(jié)構(gòu)合適、工具鏈支持明確、內(nèi)存布局可控的前提下，把神經(jīng)網(wǎng)絡(luò)計(jì)算這件事做得更快、更穩(wěn)、更省 CPU。真正成熟的 STM32 AI 項(xiàng)目，仍然要靠采樣鏈路、預(yù)處理一致性、模型驗(yàn)證、狀態(tài)機(jī)和現(xiàn)場(chǎng)復(fù)盤一起撐起來(lái)。

由于微信公眾號(hào)規(guī)則發(fā)生改變，點(diǎn)贊和收藏后，才能持續(xù)推送給您更多相近的文章，歡迎點(diǎn)贊和推薦。

點(diǎn)擊

閱讀原文

了解更多

登錄閱讀全文



免責(zé)聲明：該內(nèi)容由專欄作者授權(quán)發(fā)布或作者轉(zhuǎn)載，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)，本站亦不保證或承諾內(nèi)容真實(shí)性等。若內(nèi)容或圖片侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系本站刪除。侵權(quán)投訴聯(lián)系：? nick.zong@aspencore.com！

玩轉(zhuǎn)單片機(jī)與嵌入式專注單片機(jī)、嵌入式、學(xué)習(xí)資料、最新設(shè)計(jì)、案例等。以單片機(jī)為起點(diǎn),帶你玩轉(zhuǎn)單片機(jī)、嵌入式。

進(jìn)入專欄

評(píng)論

文章：251篇粉絲：17人

 私信

STM32N647入門與進(jìn)階：為什么STM32也在集成NPU？（邊緣TinyML工具鏈）

最近文章

熱門文章

推薦

最新資訊