從這顆能跑AI的MCU，談瑞薩的AI生態(tài)布局

今年提“端側(cè)AI”的半導(dǎo)體企業(yè)特別多——這個(gè)詞出現(xiàn)的頻率比去年高了不少。不光是PC、手機(jī)端側(cè)的生成式AI推理，還包括IoT、嵌入式應(yīng)用的TinyML、各種機(jī)器學(xué)習(xí)新技術(shù)。仿佛AI真的在改變一切。但說(shuō)白了，這不就是AIoT嗎？

不過(guò)進(jìn)博會(huì)期間，瑞薩電子正式發(fā)布RA8系列芯片，這是行業(yè)內(nèi)首款基于Arm^® Cortex^®-M85的MCU；借助Arm Helium技術(shù)，大幅提升了MCU的DSP、AI/ML性能。我們和瑞薩電子嵌入式處理器事業(yè)部高級(jí)經(jīng)理吳頻吉聊了聊，發(fā)現(xiàn)今年這種進(jìn)階版的AIoT，在端側(cè)AI資源的挖掘上也變得更加激進(jìn)了。

不僅是RA8，借助這顆芯片的發(fā)布，我們可以從AI的角度，來(lái)看看瑞薩的產(chǎn)品布局和戰(zhàn)略。這對(duì)于我們理解工業(yè)、物聯(lián)網(wǎng)、基礎(chǔ)設(shè)施領(lǐng)域，芯片層面的AI技術(shù)發(fā)展也會(huì)有價(jià)值。

高性能+AI的MCU

先來(lái)談?wù)凴A8系列芯片本身。Arm官方目前對(duì)于Cortex-M85的宣傳是“采用Arm Helium技術(shù)，最高性能的Cortex-M處理器”，是“高性能微控制器的新里程碑”，以及“最高的標(biāo)量、DSP與ML性能”。Arm預(yù)設(shè)的M85應(yīng)用場(chǎng)景是IIoT、智能家居、汽車等。

那么很顯然，基于Cortex-M85的RA8系列MCU，一定在性能上是比較彪悍的。瑞薩給出了M85和M7之間的比較——Cortex-M7實(shí)際上也是過(guò)去幾個(gè)月，我們從很多MCU企業(yè)那里看到的高性能架構(gòu)選擇。

這張表基本給出了Cortex-M85的一些關(guān)鍵屬性。包括升級(jí)到Armv8.1-M，安全性方面加入了TrustZone，而且還特別配了“M型矢量擴(kuò)展單元”Helium。Helium本身是Armv8.1-M架構(gòu)的擴(kuò)展，用于大幅提升ML與DSP性能。

在Helium之前更有名的Neon——今年3月我們?cè)?a href="http://www.wojiuyaomai.com/news/202303205152.html">全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽頒獎(jiǎng)禮上看到過(guò)瑞薩為比賽準(zhǔn)備的RZ/G2L，其中的AI推理就基于Cortex-A55的Neon擴(kuò)展——當(dāng)然那就不是MCU范疇了。Helium和Neon在方向上是類似的，只不過(guò)前者規(guī)模會(huì)更小，著力于低功耗；另外Helium也有一些循環(huán)預(yù)測(cè)、復(fù)雜數(shù)學(xué)計(jì)算、scatter-gather內(nèi)存訪問(wèn)之類的新特性。

加上M85本身的設(shè)計(jì)變化，RA8的性能相比基于Cortex-M7的MCU就會(huì)有個(gè)相對(duì)顯著的提升，包括基于CoreMark測(cè)試的每時(shí)鐘周期單線程性能達(dá)到6.39 CoreMarks/MHz；以及4倍DSP/ML性能提升、標(biāo)量性能提升30%——這就完全符合Arm此前設(shè)計(jì)Helium預(yù)設(shè)的2倍數(shù)據(jù)通路寬度提升，以及4倍DSP/ML性能提升。

從更高層級(jí)來(lái)看，具體到RA8M1的構(gòu)成與配置如上圖：包括最多2MB Flash，總共1MB SRAM——“客戶做控制類應(yīng)用不需要掛任何東西”；通信接口涵蓋以太網(wǎng)、USB、CAN-FD等主流組成，“還集成了一個(gè)八線SPI（Octal SPI），這個(gè)一般在MPU上才用的比較多，可以拿來(lái)接Octal Flash或者HyperRAM”；

以及功能安全之外，還有信息安全相關(guān)構(gòu)成，包括RSA4K，ECC——“這里面我們還支持Ed25519，在MCU里面也不多見(jiàn)”，SHA-2等。“對(duì)于信息安全需求而言，RA8支持目前幾乎所有主流產(chǎn)品。”吳頻吉談到。

另外就是作為MCU，相比于MPU和SoC，“它也很容易做開發(fā)”，“各種接口也能夠讓客戶快速上手”。此前我們也看到，基于市場(chǎng)對(duì)算力需求的提升，不少?gòu)S商多有基于Cortex-M7的高性能MCU推出。但其中的大部分還是“以MPU的方式來(lái)做MCU”，吳頻吉說(shuō)，“里面沒(méi)有存儲(chǔ)器，電源設(shè)計(jì)也比較復(fù)雜。就相當(dāng)于SoC設(shè)計(jì)，只是把核改成了實(shí)時(shí)核。”

吳頻吉強(qiáng)調(diào)說(shuō)，瑞薩面向的客戶群體對(duì)于可靠性、安全性要求都很高，“我們還是以MCU的方式，提供更高的算力給客戶”，包括仍以內(nèi)置flash的方式，確保可靠性與安全性；加上Cortex-M85在能效表現(xiàn)上也優(yōu)于M7，“很多客戶還是希望MCU的功耗控制在一定范圍，至少不需要散熱片和風(fēng)扇”，但仍然需要滿足性能需求——“M7要做到相同的性能需要六七百M(fèi)Hz的頻率，AI就更不用說(shuō)了”。“在這樣的情況下，我們定義了RA8這個(gè)產(chǎn)品，并且做出來(lái)了。”

“客戶其實(shí)一直在找這類型的產(chǎn)品，因?yàn)槭袌?chǎng)上以前沒(méi)有選擇。以前他們也只能選那種外置flash的方案。”“RA8相當(dāng)于填補(bǔ)了市場(chǎng)需求的空白。這個(gè)需求一直都有，尤其AI近一年火了以后，大家在終端AI這塊的需求越來(lái)越強(qiáng)烈。”“以前有些開發(fā)者為了用上AI，因?yàn)闆](méi)得選，硬是上了一套Linux系統(tǒng)，遇到各種各樣的問(wèn)題。我們提供這樣一個(gè)選項(xiàng)，在開發(fā)者不需要太大改變的情況下，實(shí)現(xiàn)很多原本無(wú)法實(shí)現(xiàn)的功能。”

△ 瑞薩在進(jìn)博會(huì)展位上展示的人物識(shí)別AI套件，基于RA8D1——這個(gè)demo具體是檢測(cè)攝像頭拍到的人物，即便部分被遮擋也能正常檢測(cè)；檢測(cè)距離可以達(dá)到20米。模型訓(xùn)練超過(guò)3200萬(wàn)張圖片，支持180°全視角攝像頭；

瑞薩列舉的目標(biāo)應(yīng)用方向包括智能人物檢測(cè)傳感器；安全攝像頭和視頻分析；視頻會(huì)議與網(wǎng)絡(luò)攝像頭；可視門鈴和智能家居攝像頭等...幾年前應(yīng)該沒(méi)人想過(guò)，只是一顆MCU就能干這些吧...

應(yīng)用開發(fā)理念的轉(zhuǎn)變

吳頻吉列舉了RA8系列的一些應(yīng)用方向，涵蓋工業(yè)、消費(fèi)電子、智能家居/智能樓宇、辦公自動(dòng)化、醫(yī)療等。

“這款芯片仍是個(gè)通用品，可以用在任何地方”——當(dāng)然基于對(duì)RA8的介紹，不難發(fā)現(xiàn)這是個(gè)更適用于強(qiáng)調(diào)端側(cè)AI或者要求一定性能，以及包括對(duì)信息安全有要求的應(yīng)用上。

值得一提的是，RA8系列介紹中提到“用戶界面”部分包含CEU攝像頭接口——吳頻吉特別談到了指紋掃描儀的應(yīng)用示例，對(duì)應(yīng)的基于CEU攝像頭接口，也就能在系統(tǒng)中接指紋光學(xué)傳感器。這個(gè)應(yīng)用應(yīng)該是相對(duì)典型，可代表RA8芯片諸多特性的。

其一在于算力足夠支持指紋識(shí)別。第二，可以做AI相關(guān)的進(jìn)一步處理：“比如說(shuō)某些情況下，存在用指紋貼片、非本人代打指紋的可能，借助AI就能進(jìn)一步識(shí)別是否是本人。比如一般我們摁指紋，不同時(shí)間點(diǎn)，力度會(huì)有變化，AI很容易做出這方面的判斷。”

第三，生物特征識(shí)別必然意味著安全性需求，“芯片也支持RSIP Cryptographic Engine加密引擎，對(duì)指紋特征數(shù)據(jù)做加密和傳輸”，RSIP應(yīng)該是瑞薩特有的一個(gè)安全I(xiàn)P；加上TrustZone區(qū)隔專門的安全區(qū)域做處理，“做到符合當(dāng)前安全需求的系統(tǒng)”。 這個(gè)例子也就囊括了算力、AI、安全功能、通信功能的不同需求。

尤為值得一提的還是端側(cè)AI的某些功能實(shí)現(xiàn)。對(duì)此，吳頻吉表示，隨著端側(cè)AI的出現(xiàn)，“開發(fā)理念已經(jīng)完全不一樣了”，“可能開發(fā)者思考的不再是用什么樣的算法來(lái)實(shí)現(xiàn)功能，而是有多少實(shí)用的數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)應(yīng)的算法”，數(shù)據(jù)在其中是關(guān)鍵，“數(shù)據(jù)會(huì)在未來(lái)的開發(fā)流程中占據(jù)很重要的位置”。

“以前的想法大概是我要怎么做，判斷這個(gè)東西是0還是1；而現(xiàn)在的想法是，在知道有0和1的情況下，（給AI模型）喂100萬(wàn)個(gè)數(shù)據(jù)，然后（由AI模型）判斷哪個(gè)是0，哪個(gè)是1。我們不需要關(guān)心AI是怎么判斷的。”AIoT“開發(fā)的理念更多要轉(zhuǎn)換到以數(shù)據(jù)為中心，而非以算法為中心。數(shù)據(jù)變得越來(lái)越重要，數(shù)據(jù)量會(huì)越來(lái)越大。”吳頻吉多番提及數(shù)據(jù)的重要性，“理念上我們?nèi)鹚_也往前趕，更多地將數(shù)據(jù)作為我們的發(fā)展重心。”

“我們認(rèn)為AI一定是大勢(shì)所趨，包括邊緣和端側(cè)設(shè)備。”“就端側(cè)AI這一塊，我們希望做一些事情，也希望幫助國(guó)內(nèi)的客戶，更快地實(shí)現(xiàn)產(chǎn)品構(gòu)想。” “現(xiàn)在的開發(fā)流程，和原來(lái)嵌入式開發(fā)可以說(shuō)有了翻天覆地的變化，我們的很多客戶也已經(jīng)看到了。一旦適應(yīng)了變化，流程就會(huì)變得完全不同。”RA8顯然就是這一時(shí)代背景下的產(chǎn)物。

△ 這是個(gè)馬達(dá)異常檢測(cè)AI套件的展示，用到了Reality AI的工具——進(jìn)行電機(jī)運(yùn)行的數(shù)據(jù)分析采集，生成AI模型，進(jìn)行電極異常檢測(cè)。介紹中提到AI模型僅占用20K Flash和9K RAM，推理時(shí)間約3.5ms，準(zhǔn)確度>90%，而且不需要額外的傳感器...

在開發(fā)上，PC端用簡(jiǎn)單的Python腳本來(lái)采集數(shù)據(jù)，基于網(wǎng)頁(yè)端的工具組件，導(dǎo)入數(shù)據(jù)、統(tǒng)計(jì)分析、抓去特征值，就能生成所需的AI模型庫(kù)。

瑞薩的AI芯片與生態(tài)布局

從RA8擴(kuò)展開去，我們嘗試觀察一下目前瑞薩的AI芯片與生態(tài)布局。熟悉瑞薩MCU產(chǎn)品線的讀者應(yīng)該知道，“RA”是瑞薩的Arm內(nèi)核MCU系列產(chǎn)品。而RA系列內(nèi)，又有RA2, RA4, RA6和目前新推出的RA8幾個(gè)系列。從性能定位來(lái)看，RA8是其中的旗艦產(chǎn)品。

如前所述，RA系列更多是定位于端側(cè)設(shè)備的。若基于算力來(lái)看瑞薩MCU/MPU的產(chǎn)品布局，則瑞薩的芯片除了云端以外，在邊緣和端側(cè)都有覆蓋。這里的“邊緣”主要是指網(wǎng)絡(luò)網(wǎng)關(guān)、邊緣服務(wù)器。具體分布如下：

瑞薩稱其為“可擴(kuò)展的算力提供”，包括高端定位、達(dá)到34k CoreMarks的RZ/G系列，往下到RZ/V, RZ/N, RZ/T, RX700, RX600...及端側(cè)設(shè)備中更追求低功耗的RA2, RL78。

這次發(fā)布的RA8，從CoreMarks算力來(lái)看是介于RZ/T到RX700中間附近的定位（基于RA8M1的480MHz主頻，及6.39 CoreMarks/MHz每周期性能），是端側(cè)設(shè)備中偏強(qiáng)性能的應(yīng)用方向了。

這張圖基本也可某種程度看做瑞薩的數(shù)字芯片方向，“AI”產(chǎn)品分布。實(shí)際上，在瑞薩定義的網(wǎng)關(guān)這個(gè)算力需求區(qū)間內(nèi)，諸如RZ/V這樣的芯片還提供專門的DRP-AI加速器，能夠達(dá)到TOPS級(jí)別算力水平。這和RA8的Arm Helium級(jí)別的DSP/ML算力加速就又不同了。

從“軟件合作伙伴生態(tài)系統(tǒng)”的角度來(lái)看，瑞薩的AI相關(guān)產(chǎn)品及開發(fā)生態(tài)大致如上圖所示。“每個(gè)瑞薩的MCU、MPU產(chǎn)品線，我們都有對(duì)應(yīng)的partner ecosystem。”吳頻吉解釋說(shuō)。對(duì)應(yīng)的AI/ML“應(yīng)用公園”，開發(fā)工具及各類中間件、轉(zhuǎn)譯工具也在圖中做了展示。“針對(duì)AI，我們有這樣一套完整的開發(fā)流程和知識(shí)體系。”

其中比較值得一提的是，此前瑞薩收購(gòu)的Reality AI在開發(fā)工具方面顯然是扮演重要角色的，在非視覺(jué)類的應(yīng)用方面提供AI開發(fā)工具。吳頻吉提到，Reality AI甚至能為客戶提供一些定制的AI模型。而且目前瑞薩已經(jīng)將Reality AI提供的部分功能集成到了瑞薩的e² studio開發(fā)工具中——“這塊我們差不多已經(jīng)做完了，用戶可以直接在一個(gè)開發(fā)環(huán)境里，完成從數(shù)據(jù)輸入到上傳云端的整個(gè)過(guò)程，對(duì)開發(fā)者而言會(huì)很方便”。

另外，如果不是只看數(shù)字芯片，那么在云端AI市場(chǎng)——即便AI訓(xùn)練芯片基本已經(jīng)被英偉達(dá)牢牢掌控，瑞薩在這其中依然有不少市場(chǎng)機(jī)會(huì)。前不久SemiAnalysis曾發(fā)文詳談過(guò)數(shù)據(jù)中心大算力AI加速卡市場(chǎng)上，電源類芯片大戰(zhàn)——瑞薩是其中很重要的一名參與者。吳頻吉也提到在“核心AI”市場(chǎng)上，瑞薩提供的時(shí)鐘產(chǎn)品、電源、存儲(chǔ)接口產(chǎn)品也很有市場(chǎng)競(jìng)爭(zhēng)力。

總的來(lái)說(shuō)，AI于瑞薩而言的市場(chǎng)機(jī)會(huì)，瑞薩能夠提供的技術(shù)，與可惠及的垂直應(yīng)用市場(chǎng)如下圖。其實(shí)這張圖所提及的關(guān)鍵技術(shù)和可觸達(dá)的市場(chǎng)，多少也能表現(xiàn)瑞薩這兩年不斷做企業(yè)與技術(shù)并購(gòu)的成果——換句話說(shuō)，若非這幾年積極的收購(gòu)，瑞薩大概也很難做到目前這番于AI市場(chǎng)機(jī)會(huì)的籌劃：

達(dá)成這樣的AI生態(tài)另外也需要不少合作伙伴的加入。“現(xiàn)在我們有200多個(gè)合作伙伴，提供300多個(gè)解決方案。”“某些需求，即便客戶在瑞薩這里找不到解決方案，也可以在合作伙伴那里找到。”

對(duì)于擅長(zhǎng)端側(cè)與邊緣市場(chǎng)的瑞薩電子而言，邊緣AI顯然是必須抓住的市場(chǎng)機(jī)會(huì)。基于AI在邊緣本地實(shí)現(xiàn)“預(yù)測(cè)性”的新特性未來(lái)也的確會(huì)改變以往的開發(fā)理念。RA8系列MCU作為瑞薩這一發(fā)展思路的代表，是具備了典型性的。

從瑞薩的介紹來(lái)看，RA8M1也已經(jīng)開始融入到瑞薩傳統(tǒng)的winning combo成功產(chǎn)品組合中，配套電源、傳感相關(guān)的方案，具體到智能掃地機(jī)器人、智能眼鏡等。邊緣與端側(cè)AI，或者說(shuō)AIoT的推進(jìn)速度，在此類芯片的推動(dòng)下，的確比我們預(yù)想的還要快。

△ 麥輪小車解決方案，“以麥輪小車為載體實(shí)現(xiàn)語(yǔ)音控制、圖傳、運(yùn)動(dòng)控制等多功能于一體的解決方案”。具體包括支持離線語(yǔ)音控制；直接接入了攝像頭和WiFi模塊，可實(shí)現(xiàn)無(wú)線局域網(wǎng)內(nèi)的攝像頭圖傳；小車上配有IMU傳感器，可實(shí)現(xiàn)小車的實(shí)時(shí)姿態(tài)控制，并通過(guò)LCD屏實(shí)時(shí)顯示攝像頭畫面和小車狀態(tài)參數(shù)；另外因?yàn)镽A8還集成了電機(jī)驅(qū)動(dòng)的模擬功能，包括ADC, PWM等，還能做機(jī)械手臂的物體抓取...