5個維度，解讀今年可能爆發的HVS融合視覺傳感器 | 專訪銳思智芯CEO鄧堅

前兩年，電子工程專輯就一直在關注“事件視覺傳感器（event-based vision sensor）”：相比傳統的CIS（CMOS圖像傳感器），它只捕捉畫面中動起來的部分，基于事件觸發，記錄連續事件、等效上萬幀每秒的幀率是其特色。這類傳感器在汽車、醫療、工業制造，乃至消費電子等領域均有應用潛力。

最近在與銳思智芯的對話中，銳思智芯創始人兼CEO鄧堅談到事件感知對當代科技的系統性價值：“AI時代需要的是多維度、多模態數據——比如自動駕駛，不僅需要x和y軸的兩維平面圖像數據；z軸的距離信息；還需要顏色、光譜信息；更重要的是時間和運動維度...這些構成了當代視覺系統的幾大要素。”

有了多維度的數據，機器才能準確感知世界，并做出合適的決策。“就像平面圖像有傳統的圖像傳感器，距離有ToF或其他測距傳感器，光譜傳感器能夠提供顏色信息。在時間、運動多個維度，信息當然可以通過傳統視頻拍攝的方式來獲取——但視頻的問題在于幀率不高、無效和重復數據多，很難有效提取有價值信息。”

而事件感知技術，通過仿人眼的工作模式，對電脈沖進行串聯、對變化的信息做感知，與傳統圖像傳感器的靜態信息做互補。因此，銳思智芯從2019年創立以來就在做一種融合視覺傳感器（HVS，hybrid vision sensor），將事件感知與圖像感知融合，“將靜態與變化兩種感知能力，融合在一個像素之中。未來搭配距離傳感器、光譜傳感器等，將視覺所需的要素都串聯起來。”

圖1：視覺傳感器從提供單維2D圖像信息到提供多維信息的發展過程

關注事件視覺傳感器的讀者應該知道，這類傳感器此前雖然逐步在部分工業領域有應用，但其應用范圍始終稱不上廣泛，尤其一度被看好的消費類應用，也少見事件視覺傳感器身影。而如果將它和傳統CIS圖像傳感器融合，是否真能創造出視覺感知的新時代？藉由與鄧堅的此番對談，從下面5個問題的角度，或許能得到更清晰的答案。

HVS融合視覺傳感器，具體是什么定位？

首先要明確HVS融合視覺傳感器的角色定位，如前所述它融合的是事件傳感器與傳統圖像傳感器。有關事件視覺傳感器的基本原理，電子工程專輯的歷史文章已經有過闡述，本文不再多做延伸——基于其“仿生”原理，事件視覺傳感器的優勢包括了：產生數據量少，響應速度快（體現在信息流的連續捕獲，達成超高幀率），高動態范圍（≥120dB）等。

從銳思智芯官網的介紹來看，HVS融合視覺技術由其原創，是一種像素級的事件感知技術與圖像傳感技術融合，在同一像素陣列中集成圖像采樣鏈路與事件檢測電路，并通過像素內感存算一體結構設計，采用iampCOMB, GESP或IN-PULSE DiADC架構與時分復用讀出機制（PixMUX架構），支持圖像模式、事件模式、融合模式這三種工作形態。

圖2： 融合視覺技術將APS (Active Pixel Sensing，有源像素傳感或圖像傳感技術)與EVS (Event-based Vision Sensing，事件感知技術)兩種異質路線貫穿整個技術棧——從傳感器架構、像素設計到數據處理及應用級部署。

鄧堅在采訪中表示雖然無法透露具體的像素結構，但HVS融合視覺傳感器首先是作為圖像傳感器存在的，應當將其視作在圖像傳感器上，集成事件感知能力。所以HVS傳感器的定位明確為傳統CIS圖像傳感器的迭代產品；在部分應用場景里，HVS傳感器的作用也不像純粹的事件視覺傳感器那樣，僅限于輔助感知，而是參與成像或者作為機器視覺的主要信息來源。

鄧堅認為，HVS傳感器與事件視覺傳感器應用場景不同，二者不在同一賽道。“純事件傳感器可以做到10000 fps甚至更高的幀率，以更精細的方式，用在對速度有極致要求、成本不敏感的應用中。”

另一方面，相較事件視覺傳感器，HVS融合傳感器可輸出圖像。同時，在技術持續邁進以及與應用場景適配的過程里，憑借更小的像素尺寸，和在幀率、動態范圍、數據量之間的權衡（如鄧堅提到，HVS傳感器雖不及事件傳感器那么追求單點性能極致，但等效幀率和動態范圍也做到了1000 fps和120dB），銳思智芯的HVS傳感器也具備更強的成本優勢。

由于AI對多模態信息有需求，“通常需要將多個傳感器放在同一個系統內”：以手機為例，ToF、光譜傳感器輔助攝像頭成像即是如此。鄧堅表示，隨著技術的發展，這些輔助感知的傳感器未來有機會與圖像傳感器集成在一起，成為傳感器的一部分。“我們的布局也是如此，事件視覺感知將來也會融合到手機的主攝或超廣角攝像頭之中。這是趨勢。”

圖3：一款專為智能手機設計的 HVS 傳感器，通過引入真實的高頻運動數據，實現高質量、功耗友好的影像應用，提升移動端AI感知的計算效率。

在銳思智芯看來，HVS傳感器未來有較大概率成為主流的視覺傳感器。“尤其機器視覺感知需要真實的運動數據，除了事件感知之外，現在還沒有哪種傳感器能夠獲取這類數據；但運動數據一定需要在空間坐標內，和圖像做mapping或配準。而HVS在這方面有著天然的優勢，在滿足應用需求方面，會有很棒的發展前景。”

能用來做什么，應用場景如何？

對于這個問題，理論上事件視覺感知的大部分應用，也適配HVS傳感器——；且基于后者更低的成本+可輸出圖像的特性，應用場景理論上也更為廣泛。這里舉兩個例子。

比如在汽車上，高幀率、高動態范圍、低功耗、低數據量特性令事件視覺傳感器適配各類場景。作為一種適用于運動快速感知的傳感器，它能用于場景變化的預判：“傳統圖像傳感器本身提供細節畫面——曝光需要時間，細節信息豐富也意味著關鍵信息提取需要時間，也就無法做到快速響應。”

圖4：在車輛逆光駛出隧道等快速變化場景，EVS的動態范圍和數據量優勢，可快速探測到前方障礙物，減少制動系統時間，提升主動安全

“而事件感知能夠快速提供粗略的預判信息”，比如它能告訴系統附近有快速移動的物體，可能存在危險；爾后藉由圖像傳感器或其他傳感器，去精細感知具體情況并做綜合判斷，“這對快速響應、提升效率、降低功耗都有價值。這一特性也同樣適用于智能汽車、機器人等場景。

再比如在手機上，事件感知能力決定了HVS傳感器在暗光環境下仍然能夠以高帶寬捕獲場景的運動特征，并基于此做圖像優化，實現成像的去運動模糊。而在拍攝視頻時，要對視頻應用后期或AI，幀和幀之間需要保持較高的場景一致性，從而對模型、算力都會有要求，事件感知數據或運動信息能夠為之提供真實且經濟的數據參考。

鄧堅告訴我們，銳思智芯有一款小尺寸的HVS傳感器，其提供的圖像+運動信息可直接與主攝做mapping與“對齊”，從而繞開事件與圖像需要匹配的難題——“我們和手機廠進行了不少溝通才做了這樣的產品形態”。

當然，如前所述，在銳思智芯暢想的未來，HVS終將與攝像頭融為一體，無論是主攝還是輔攝。而且方案是參與成像前（pre-capture）、成像中（capture）、成像后（post-capture）整個流程：

1、成像前參與測光、對焦；

2、成像中通過事件信息去記錄曝光過程中的運動、變化信息；

3、成像后，可基于成像中獲取的信息，顯著提升幀和幀之間的一致性，參與去模糊、HDR成像、插幀等處理過程。

2023年，銳思智芯的首顆量產版HVS傳感器APX003（ALPIX-Eiger）問世，目前已經落地的應用場景包括兩個大方向。其一是需要捕獲運動信息、具備快速感知能力的應用，如快速移動的機器人、運動相機等；其二是在降低幀率過后，作為“高度蒸餾過信息、提取過特征的低功耗傳感器”用于端側智能，如可穿戴視覺設備、手機前攝、智能家居、交通安防等。

在應用的問題上，尤為值得一提的是，鄧堅在采訪中多次提到HVS融合視覺傳感器是AI傳感器——這也是在我們看來HVS傳感器最具吸引力的部分。AI要理解現實世界，基于傳統圖像傳感器獲取的高幀視頻數據，由于大量冗余信息和高數據量，特征提取算力要求高、算法難度大。“比如自動駕駛，首先要用海量數據做訓練，其中大部分還是無效數據，然后在其中做有效信息的提取。”

而事件視覺傳感器“相當于在傳感器層面就做了數據蒸餾，濾除了無效信息，存儲與計算消耗都大幅下降”，一旦事件感知技術本身成熟，且生態建立起來，“一定會催生更多新興的AI應用場景。在我們看來，它也因此對物理AI、具身智能理解物理世界有著莫大價值。”

圖5：HVS融合傳感器APX014（ALPIX -Pizol）在移動中實時捕捉街景：事件（左）/ 圖像（右）。APX014采用全局快門和單色圖像模式，提供130萬像素APS/EVS分辨率

為什么要將事件與圖像感知做“像素級”融合？

上述應用場景是能夠展現HVS與事件視覺傳感器的前景的，尤其在為AI模型提前做“數據蒸餾”這一點上。不過實際上，做一個松耦合的系統，如前所述，多模態數據獲取基于不同的傳感器，似乎也行。那么HVS融合視覺傳感器，作為一種在“像素級”做到了事件與圖像緊耦合的系統，相比一個系統用兩顆不同傳感器的方案，又有什么價值呢？

我們目前尚不清楚銳思智芯是如何在同一個傳感器上，實現事件與圖像感知像素級融合的。關注電子工程專輯此前對事件視覺傳感器技術報道的讀者應該清楚，其像素結構與傳統CIS圖像傳感器的像素結構差異甚大。

采訪中鄧堅也提及，事件視覺傳感器相當于對光電信號做微分、提取變化（對光強做對數、檢測對數亮度變化），再做處理（與閾值比較并觸發事件）；圖像傳感器則是通過積分的方式再做數據處理；這是二者很難直接融合的原因，其架構并不兼容。

不過鄧堅提到HVS傳感器首先作為圖像傳感器，和事件傳感器本質上完全不同。另外，HVS傳感器與傳統圖像傳感器更為近親還體現在，銳思智芯將HVS傳感器的像素做到了更小的尺寸——“事件傳感器的像素結構決定了很難把像素做小”，比如前兩年的IMX636單像素尺寸為4.86μm，“我們已經能夠把HVS傳感器的像素做到更小——目前則已經有1.89μm的HVS傳感器量產。”

銳思智芯的路線圖上已經規劃了一款更高分辨率的HVS傳感器。“盡管技術上可以做到更多像素同時輸入事件和圖像，但這對事件感知而言沒有實際意義”。銳思智芯官網列出的HVS傳感器規格表也將分辨率拆分成APS和EVS做標注，其中EVS分辨率即為用于事件感知的分辨率或像素量。

因為一方面，運動信息并不需要那么精細；另一方面過高的事件像素也產生了數據量的壓力；傳感器的成本也會變得非常高。具體需要多少像素量，還是和應用場景、算法需求有關。“對不同應用，現在行業已經有比較好的事件與圖像像素的比例參考。”鄧堅介紹說。

回到兩者“像素級”融合的價值問題：關鍵在于“在一顆傳感器的同像素內產生事件與圖像，時間和空間坐標是天然配準的——實現了原生融合”，或者說多模態信息的對齊。

異質的圖像數據和事件數據做像素級對齊的難度很大：數據不同源、操作不同頻；一個是精細數據，一個是運動特征；二者后端配準對算力也有要求。真正要落地就會有問題。“這也是過去有企業嘗試面向手機推純事件視覺傳感器并不成功的原因。”

鄧堅也談到，純事件視覺傳感器的數據形態，和現在主流矩陣運算的數據通路不適配，要從底層打通、開發周期很長——需要改變算法體系、數據結構，對開發者而言這里面變化的代價還是很大的，比如手機的兩個攝像頭去做跨模態數據配準，盡管當然可以通過大模型來完成，但投入產出顯然不成正比。

何時大規模應用與上量？

這番解釋，實際上也明確了為什么前兩年活躍于市的事件視覺傳感器企業，卻未能在市場上斬獲理想份額。另外鄧堅也總結了相關事件視覺傳感器的市場經驗教訓：當事件視覺傳感器作為產品推向市場時，面臨各種具體問題，如前文提到與手機主攝的配準、不同形態數據的處理等，從產品角度看，當時事件傳感器供應商也沒有真正和手機廠做充分溝通，做好產品定義，等等。

但他也肯定了事件視覺傳感器企業過往所做的努力，無論是傳感器本身還是配套算法、生態構建，都是教育市場、加強認知的過程。“就像ToF傳感器，從興起到進入手機供應鏈也經歷了5、6年時間，需要持續投入和積累。”“這還涉及到技術成熟度、投入產出比的問題，尤其消費電子產品在這方面尤其敏感。這是需要過程的。”

在鄧堅看來，現在對HVS融合視覺感知和銳思智芯而言，是個不錯的發展時機。一方面，如前文所述，更多場景對運動感知以及低功耗有更高的要求，應用端走到了對多維數據獲取有切實需求的時刻——尤其AI發展起來，“從文本模型走向世界模型”，“才能以更有效的方式看到真實世界”。

圖6：HVS融合傳感器APX014（ALPIX -Pizol）實時捕捉行人運動：事件（左）/ 圖像（右）。APX014采用全局快門和單色圖像模式，提供130萬像素APS/EVS分辨率

另一方面，事件與圖像感知融合技術走向成熟，能夠以更合理的投入產出比有效地解決問題；乃至契合AI發展趨勢，為AI理解世界提前做好數據蒸餾，提升AI及各類應用感知世界的效率——“我們從傳感器的角度已經對數據做了過濾，提供運動或事件特征，非常適合端側小尺寸、高性價比設備的開發”。

圖7：銳思智芯APX系列芯片/模組（所有產品為真實影像，圖片背景由AI生成）

目前，銳思智芯的HVS融合視覺傳感器已經在可穿戴、AIoT、機器人、智慧交通、安防等領域出貨，“今明年（2026、2027）我們預計會是個爆發期。我們是目前這類傳感器唯一實現了技術量產的公司，未來兩年會有相當好的發展潛力。”

“我們的芯片技術本身已經成熟，也能夠量產；中間也經歷了長時間的算法和系統開發；后面鋪開的速度會很快。”“今明兩年預計會看到HVS傳感器在更多日常產品中大量應用，畢竟它也符合AI發展趨勢。”

鄧堅表示，由于HVS傳感器的制造沒有采用任何特殊工藝，而基于圖像傳感器的標準工藝，國內在工藝方面也相當成熟，故而在面對未來可能爆發的市場之時，產能不會成為問題。

技術與開發生態成熟度如何？

2025年4月，銳思智芯宣布完成B輪融資，投資方包括智慧互聯產業基金、浦耀信曄、中車時代投資等多家知名機構。在此之前，銳思智芯已經完成了4輪融資，資方囊括聯想、OPPO、舜宇、歌爾、虹軟，以及中科創星、清科創投、耀途資本等，其中有一些是連續多輪跟投，可見資本市場對HVS技術熱情不減。

自2019年銳思智芯起步，至2023年HVS傳感器產品問世，到現在鄧堅判斷很快HVS傳感器面臨市場爆發，期間攻堅大量工程技術問題。不少公司都在做類似技術的嘗試，部分巨頭也有這個方向的戰略規劃，因為HVS的確有很好的應用前景——只不過他們都還沒有讓技術和產品進入到量產階段。鄧堅告訴我們，正是基于先發優勢和努力，銳思智芯率先量產了HVS傳感器產品。

“在股東、Fab廠的支持下，銳思在過去6年時間里，花費大量精力，不僅讓傳感器在圖像性能這塊能夠滿足手機需要，還讓像素加入事件感知能力，傳感器也在分辨率和像素尺寸上逐步升級，適配攝像頭的機械結構，同時保證低成本；而且面對兩種不同頻的機制，要克服信號干擾問題，從工藝、隔離、時序、芯片架構，到數據結構和算法等角度去系統性解決各種難題。”

傳感器準備就緒之后，落地應用實際還涉及到系統、軟件相關工作。鄧堅表示，銳思智芯經過多年發展，各個鏈條都相對齊全，“團隊里面有很多做算法、系統的同事，給到客戶的不僅僅是一顆芯片，還有底層算法與方案。”

除模組、開發板、參考設計等系統級配套方案，鄧堅特別提到了算法開發，首先確立底層核心算子——基于2bit事件感知數據去做算子和優化——這部分需要硬件支撐，是長期方向；其次是驅動層的算法——比如人形檢測、運動檢測、手勢識別等相對通用的模型，基于事件特性訓練和優化，形成面向客戶的SDK；最后是應用層，基于SDK，配合客戶或方案商去做深度定制開發。

同時，銳思智芯也提供事件數據集，期望從數據的角度來完善生態；應用開發者也更有機會基于特定場景和需求做開發。在算法與數據兩個維度上的努力，最終“讓大家能夠集中于應用層開發”。從應用開發的角度來說，“只要發現事件或融合視覺技術的優越性，融入到應用之中，開發的難度不會很大。”

此外，銳思智芯和許多研究機構也有合作：在事件傳感器本身作為視覺領域科研大熱門之外，多模態信息獲取越來越成為新需求。“我們和國內外的多所頂尖學校和研究機構合作，取得了一些很讓人興奮的前沿開發成果。”對于頂會的贊助、舉辦技術挑戰賽等，也都是促進生態發展的典型操作了。

鄧堅表示，HVS生態建設是個長期的過程，還“需要大企業去牽引——更多人愿意參與進來，我們的算法有了用武之地，芯片也能夠得到普及。”，他希望，無論是在汽車、機器人，還是在AIoT、手機、智慧生活的方方面面，“產品得到更多人的接受和認可，成為普遍的技術，成本也能更進一步地降下來，讓技術和產品更好用，持續迭代，進入正向循環。”