一文讀懂Tesla自動駕駛技術方案

PANet比FPN更準是因：在FPN自頂向下的單一路徑流的基礎上又額外增加了自底向上的路徑流，也因此帶入更高的參數與計算；
BiFPN移除了只有一個輸入的節點(最上層和最下層)，因為網絡的目的是融合特征，所以沒有融合能力的節點直接連接就可以。
BiFPN將輸入直接連接到輸出節點，在不增加計算的情況下，融合了更多特征。
BiFPN將基礎結構進行了多層堆疊，能夠融合出更高緯度的特征。

FPN->BiFPN

5.BEV Fusion：FSD感知的空間理解能力

2D感知

在BEV出現之前，自動駕駛感知主流方案都是基于相機的2D Image Space，但是感知的下游應用方-決策和路徑規劃都是在車輛所在的2D BEV Space進行的，感知與規控之間的壁壘阻礙了FSD的發展。為了消除這個壁壘，就需要將感知從2D圖像空間后置到2D的自車參考系空間，即BEV空間。

基于傳統技術：

會采用IPM(Inverse Perspective Mapping)假設地面為平面利用相機-自車外參將2D Image Space轉換為2D的自車空間，即BEV鳥瞰空間。這里有個很明顯的缺陷：平面假設在面對道路起伏和上下坡時便不在成立。

多相機接邊拼接問題

由于每個攝像頭的FOV有限，所以即使借助IPM將2D Image Space轉換到2D BEV空間還需要解決多個相機圖像的BEV空間拼接。這其實需要高精度的多相機標定算法，而且需要在線的實時校正算法。總結來說，需要實現的就是將多相機2D圖像空間特征映射到BEV空間，同時解決由于標定和非平面假設引起的變換重疊問題。

Tesla基于Transformer的BEV Layer的實現方案：

BEV_FUSION

首先在各個相機分別通過CNN主干網絡和BiFPN提取多尺度特征圖層，多尺度特征圖層一方面通過MLP層生成Transformer的方法中所需的Key和Value，另一方面對多尺度Feature Map進行Global Pooling操作得到一個全局描述向量（即圖中的Context Summary），同時通過對目標輸出BEV空間進行柵格化，再對每個BEV柵格進行位置編碼，將這些位置編碼與全局描述向量進行拼接（Concatenate）后再通過一層MLP層得到Transformer所需的Query。

在Cross Attention操作中，Query的尺度決定最終BEV層之后的輸出尺度（即BEV柵格的尺度），而Key和Value分別處于2D圖像坐標空間下，按照Transformer的原理，通過Query和Key建立每個BEV柵格收到2D圖像平面像素的影響權重，從而建立從BEV到輸入圖像之間的關聯，再利用這些權重加權由圖像平面下的特征得到的Value，最終得到BEV坐標系下的Feature Map，完成BEV坐標轉換層的使命，后面就可以基于BEV下的Feature Map利用已經成熟的各個感知功能頭來直接在BEV空間下進行感知了。BEV空間下的感知結果與決策規劃所在的坐標系是統一的，因此感知與后續模塊就通過BEV變換緊密地聯系到了一起。

Calibration

通過這種方法，實際上相機外參以及地面幾何形狀的變化都在訓練過程中被神經網絡模型內化在參數里邊。這里存在的一個問題就是使用同一套模型參數的不同車子的相機外參存在微小的差異，Karparthy在AI Day上補充了一個Tesla應對外參差異的方法：他們利用標定出來的外參將每輛車采集到的圖像通過去畸變，旋轉，恢復畸變的辦法統一轉換到同樣一套虛擬標準相機的布設位置，從而消除了不同車相機外參的微小差別。

BEV的方法是一個非常有效的多相機融合框架，通過BEV的方案，原本很難進行正確關聯的跨多個相機的近處的大目標的尺寸估計和追蹤都變得更加準確、穩定，同時這種方案也使得算法對于某一個或幾個相機短時間的遮擋，丟失有了更強的魯棒性。簡而言之，BEV解決了多攝像頭的圖像融合拼接，增加了魯棒性。

解決了多相機的車道線和邊界融合

障礙物變的更穩定(從PPT來看，特斯拉初始的方案應該是主要應用了前向相機來做感知和車道線預測的。)

6.Video Neural Net Architecture：時空序列Feature構建

BEV的使用將感知從多相機分散的2D Image Space提升到2D的BEV 空間，但是自動駕駛實際的環境是一個4D的空間的問題，即便不考慮高程，也仍然缺少的一個維度是時間。Tesla通過使用具有時序信息的視頻片段替代圖像對神經網絡進行訓練，從而使感知模型具有短時間的記憶的能力，實現這個功能的方法是分別引入時間維度和空間維度上的特征隊列進入神經網絡模型。規則：每隔27毫秒push queue或每走過每隔1米遠就會連同運動信息緩存在視頻序列。

對于如何融合時序信息，Tesla嘗試了三種主流的方案：3D卷積，Transformer以及RNN。這三種方法都需要把自車運動信息與單幀感知結合起來，Karparthy表示自車運動信息只使用了包括速度和加速度的四維信息，這些運動信息可以從IMU中獲取，然后與BEV空間下的Feature Map(20x80x256)還有Positional Encoding相結合(Concatenate)，形成20x80x300x12維的特征向量隊列，這里第三維由256維視覺特征?+ 4維運動學特征（vx, vy, ax, ay)以及40維位置編碼（Positional Encoding）構成，因此300 = 256 + 4 + 40，最后一維是降采樣過后的12幀時間/空間維度。

3D Conv， Transformer，RNN都能處理序列信息，三者在不同任務上各有長短，但大部分時間采用哪個方案其實區別不大，然而AI Day上Karparthy另外分享了一個簡單有效，而且效果十分有趣可解釋的方案叫做Spatial RNN。與上面三個方法有所不同，Spatial RNN由于RNN原本就是串行處理序列信息，幀間前后順序得以保留，因此無需將BEV視覺特征進行位置編碼就可以直接給進RNN網絡，因此可以看到這里輸入信息就只包括20x80x256的BEV視覺Feature Map和1x1x4的自車運動信息。

Spatial特征在CNN中常指圖像平面上的寬高維度上的特征，這里Spatial RNN中的Spatial則指的是類似以某時刻的BEV坐標為基準的一個局部坐標系里的兩個維度。這里為了進行說明使用了LSTM的RNN層，LSTM的優勢在于其可解釋性強，這里作為例子進行理解再合適不過了。

LSTM特點在于Hidden State里面可以保留前面長度可變的N個時刻的狀態的編碼（也即短時記憶），然后當前時刻可以通過輸入和Hidden State決定哪一部分記憶的狀態需要被使用，哪一部分需要被遺忘等等。在Spatial RNN中，Hidden State是一個比BEV柵格空間更大的矩形柵格區域，尺寸為（WxHxC）（見上圖，WxH大于20x80的BEV尺寸），自車運動學信息決定前后BEV特征分別影響的是Hidden State的哪一部分柵格，這樣連續的BEV數據就會不斷對Hidden State的大矩形區域進行更新，且每次更新的位置與自車運動相符合。經過連續的更新后，就形成了一個類似局部地圖一樣的Hidden State Feature Map如下圖所示。

時序隊列的使用賦予了神經網絡獲得幀間連續的感知結果的能力，與BEV結合后則使FSD獲得了應對視野盲區和遮擋，選擇性地對局部地圖進行讀寫的能力，正因為有了這樣的實時的局部地圖構建的能力，FSD才能不依賴高精地圖進行城市中的自動駕駛。這里具備不只是3D的地圖能力，其實是局部4D場景構建能力，可用于預測等。在Occupancy出來后，普遍認為基于Spatial RNN改為了上述中的transformer方案。

7.Occupancy Network：BEV從2D走向3D

BEV的2D鳥瞰圖很顯然與真實自動駕駛面臨的3D場景還有差距，所以必然存在某些場景下BEV2D感知失效的情況。在2021年特斯拉就具備了深度構建的能力，所以從2D走向3D只是時間問題，2022年就帶來了Occupancy Network，它是BEV網絡在高度方向進行了進一步的擴展，將BEV坐標系下2D柵格位置編碼生成的Query升級為3D柵格位置編碼生成的Query，用Occupancy Feature替代了BEV Feature。

在CVPR2022上，Ashork給出了使用Occupancy Feature而不使用基于圖像深度估計的原因：

1)深度估計近處是OK的，但是遠處深度就不一致，遠處越靠近地面的地方深度值點越少(這是受限于圖像的成像原理導致的，在20m外一個像素代表的縱向距離可能超過了30cm)，而且數據難以被后續規劃流程所使用。

2)深度網絡基于回歸構建，很難通過遮擋來進行預測，所以邊界上難以進行預測，可能平滑的從車輛過渡到背景。

使用Occupancy的優勢如下：

Occupancy優點

1）在BEV空間生成了統一的體素，可以預測任意一個體素的占用概率

2）獲取了所有相機的視頻流，并且是統一的（沒有lidar-camera融合的問題，信息的維度比lidar也要高）

3）能夠實時預測被遮擋物體的狀態（Occupancy的動態描述能力是從3D向4D過渡）

4）可以為每個體素生成對應的語義類別（圖像的識別能力是遠強于lidar）

即使不識別類別也能處理運動物體

5）可以為每個體素預測其運動狀態，對隨機運動進行建模

6）各個位置的分別率是可以調整的（也就是具備BEV空間變焦能力）

7）得益于特斯拉的硬件，Occupancy具有高效的存儲和計算優勢

8）10ms內可以完成計算，處理頻率可以很高（36Hz的圖像輸出能力已經強于10Hz的lidar頻率）

Occupancy的方案相比于bounding box的感知方案優點在于：

可以描述不具有固定bounding box，可以隨意變換形態，任意移動的未知類別物體，將障礙物的描述粒度從box提升到了voxel粒度，可以解決感知中很多的長尾問題。

來看下Occupancy整體方案：

Occupancy Network

1）Image Input：輸入原始圖像信息，擴大了數據維度和動態范圍

2）Image Featurers：RegNet+BiFPN提取多尺度的圖像特征

3）Spatial Atention：通過帶3D空間位置的spatial query對2D圖像特征進行基于attention的多相機融合

實現方案1：根據每個相機的內外參將3D spatial query投影到2D特征圖上，提取對應位置的特征。

實現方案2：利用positional embedding來進行隱式的映射，即將2D特征圖的每個位置加上合理的positional embedding，如相機內外參、像素坐標等，然后讓模型自己學習2D到3D特征的對應關系

4）Temporal Alignment：利用軌跡信息對每個frame的3D Occupancy Features按照時序進行空間上Channel維度的拼接，隨著時間遠近有一個權重的衰減，組合特征會進入Deconvolutions的模塊來提高分辨率

5）Volume Outputs：輸出固定大小柵格的占用率和占用流

6）Queryable Outputs：設計了一個隱式queryable MLP decoder，輸入任意坐標值(x,y,z)，用于獲取更高分辨率的連續體素語義、占用率、占用流信息，打破了模型分辨率的限制

7）Surface Outputs：生成具有三維幾何和語義的可行駛區域路面，有利于坡度、彎曲道路上的控制。Surface和Volume不是獨立預測的，而是隱形一致的。

地面與Occupancy是一致的

8）NeRF state：nerf構建的是場景的幾何結構，可以生成任意視角的圖像，可以恢復高分辨率的真實場景。

如果能夠用Nerf進行升級或替換，那么將具備還原真實場景的能力，而且這個場景還原能力將是過去-現在-未來的。對于特斯拉技術方案追求的4D場景自動駕駛應該是極大的補充和完善。

8.FSD Lanes Neural Network：預測車道的拓撲連接關系

只分割、識別出車道線是不夠的，還需要推理獲取車道之間的拓撲連接關系，這樣才能用于軌跡規劃。

FSD車道線拓撲關系感知

1）Lane Guidance Module：使用了導航圖中的道路的幾何&拓撲關系，車道等級、數量、寬度、屬性信息，將這些信息與Occupancy特征整合起來進行編碼生成Dense World Tensor給到拓撲關系建立的模塊，將視頻流稠密的特征通序列生成范式解析出稀疏的道路拓撲信息(車道節點lane segment和連接關系adjacent)。

2）Language Component：把車道相關信息包括車道節點位置、屬性（起點，中間點，終點等）、分叉點、匯合點，以及車道樣條曲線幾何參數進行編碼，做成類似語言模型中單詞token的編碼，然后利用時序處理辦法進行處理。具體流程如下：

language of lanes?流程

language of lanes

最終language of lanes表征的就是圖中的拓撲連接關系。

9. Object Perception：感知預測其他交通參與者

障礙物感知與預測

FSD的Object Perception是一個2-Step的方法，第1階段先從Occupancy中識別出障礙物在3D空間中的位置，第2階段將這些3D物體的張量concat一些運動學信息的編碼（如自車運動，目標行駛車道線，交通燈交通信號等）然后在接入軌跡預測、物體建模、行人位姿預測等head。將復雜的感知Heads聚焦于有限的ROI區域，減少了處理延遲。從上圖可以看到存在2步video module，分別服務于自車和它車的預測。

這里留下個疑問：上圖中的2次video module有什么區別？效率上會不會有問題？

決策規劃

1.復雜場景：與高頻、多樣交通參與者的交互規劃

路口無保護左轉的決策規劃場景

上述這個場景決策規劃的難點在于：

自車執行無保護左轉通過路口場景過程中需要與行人、正常直行車輛交互，理解多方的相互關系。

與前者的交互決策，直接影響與后者的交互策略。這里最后選擇的方案是：盡量不干擾其他交通參與者的運動。

2.傳統優化方法：【聯合多物體軌跡規劃】：多物體MPC

8維度狀態表征軌跡（位置，Heading,s速度，橫縱向加速度，橫縱向jerk）
優化cost:找到自車ego和他車Obj各自的軌跡，使得所有物體都能盡可能的抵達goal，同時橫縱向jerk盡可能小（舒適度）
約束條件：

物體各自的軌跡最近距離大于安全距離
兩兩物體的軌跡早到、遲到約束

缺點：實時性太差(每一種組合耗時10ms是Tesla能做到的極限)，存在組合爆炸。目標是整體規劃耗時50ms（20hz）。

3.交互樹搜索：并行的路徑規劃和評估修剪

決策規劃的流程

Tesla實現這個目標采用的是“交互搜索”，對一系列可能的運動軌跡進行并行搜索，對應的狀態空間包含了自車、障礙物、可行駛區域、車道、交通信號燈等。解空間采用的是一組目標運動候選軌跡，在與其他交通參與互動決策后產生分支，進而遞進決策規劃下去，最后選出最優的軌跡，流程如上圖所示:

1）根據道路拓撲或人駕數據先驗得到goal點或其概率分布（大數據軌跡）

2）根據goal點生成候選軌跡（優化算法+神經網絡）

3）沿著候選軌跡rollout并交互決策，重新規劃路徑，評估各個路徑的風險和得分，優先搜索最佳路徑知道goal點

整個決策規劃的優化表達式：

決策規劃優化表達式

輕量級的規劃軌跡查詢網絡

特斯拉采用遞增的方式不斷加入新的決策約束，用較少約束下最優方案作為初值繼續求解更加復雜的優化問題，最終得到最優解。但由于存在眾多的可能分支，就要整個決策規劃過程要十分的高效，采用基于傳統優化算法的planner每次決策規劃需要耗時1~5ms，當存在高密度交通參與者時顯然是不夠安全的。特斯拉采用的Neural Planner是一個輕量級的網絡，查詢的規劃軌跡使用Tesla車隊中人類駕駛員駕駛數據和在無時間約束的離線條件下規劃的全局最優路徑最為真值進行訓練出來的，每次決策規劃只有100us。

規劃決策評估

每次決策后查詢到的多個候選軌跡都需要進行評估，評估依據的規范有碰撞檢查、舒適性分析、接管可能性、與人的相似程度等，有助于修剪搜素分支，避免整個決策樹過于龐大，同時也能夠將算力集中到最有可能的分支上。Tesla強調該方案同樣適用于遮擋場景，在規劃過程會考慮被遮擋的物體的運動狀態，通過添加“鬼影”進行規劃。

ghost遮擋場景

在CVPR還分享了碰撞規避的網絡流程和對應的規劃過程，不細述。

碰撞規避網絡

場景重建&自動標注

特斯拉強大的感知能力需要強大的標注能力作為支撐，從2018至今，特斯拉的標注經歷了4個階段：

特斯拉的標注迭代

第1階段(2018)：只有純人工的2維的圖像標注，效率非常低

第2階段(2019)：開始有3D label，但是是單趟的人工的

第3階段(2020)：采用BEV空間進行標注，重投影的精度明顯降低

第4階段(2021)：采用多趟重建去進行標注，精度、效率、拓撲關系都達到了極高的水準

特斯拉的這套自動標注系統可以取代500萬小時的人工作業量，人工只需要檢查、補漏極小的部分(<0.1hrs).

這套多趟軌跡重建方案過程如下：(類似于一套離線的語義slam系統)

自動標注系統

第1步：VIO生成高精軌跡。將視頻流、IMU、里程計給到神經網絡，推理提取點、線、地面、分割特征，然后在BEV空間用multi-camera VIO進行tracking和optimization，輸出100Hz的6dof的軌跡和3dof的結構和道路，同時還可以輸出camera的標定值。重建軌跡的精度是1.3cm/m、0.45弧度/m，不算很高。所有的FSD都可以運行這套流程獲取某趟預處理的軌跡和結構信息。(看視頻感覺vio只顯式用了點特征，可能隱式使用了用線、面特征。)

多趟軌跡重建

第2步：多趟軌跡重建。將多趟來自不同車輛的重建數據進行軌跡分組粗對齊->特征匹配->聯合優化->路面精修，然后人工參與進來最終核實確認標注結果。這里聯合優化后還進行了一個路面優化，猜測是視覺重建的誤差比較大，全局優化后在局部道路存在分層重疊問題，為了消除這部分全局優化錯誤分配的誤差，增加了路面優化。從算法邏輯上來講，全局優化后接局部優化是一個必須項，因為自動駕駛的要求是處處能可行駛。整個過程在集群上并行的。

粗對齊

第3步：自動標注新軌跡數據。在預先構建的地圖上，對新行駛軌跡數據執行多趟軌跡重建一樣的重建流程，這樣對齊后的新軌跡數據就可以自動的從預構建地圖上獲取語義標注。這其實就是一個重定位獲取語義標簽的過程。這個自動標注其實是只能自動標注靜態的物體，比如：車道線、道路邊界等。通過感知模型，其實已經能夠獲取到車道線等的語義類別，但是在惡劣場景下會存在完整性和誤識別問題，通過這個自動標注可以解決這些問題。但缺陷在于對于動態障礙物可能就不太適用了，比如：行駛中的車輛、行人等。下面是使用場景：

自動標注使用場景

特斯拉所展示的很多圖像都有一個特點：存在模糊或污漬遮擋，但是不嚴重影響其感知結果。在正常的使用中，車輛的相機鏡頭很容易被弄臟，但是有了這個自動標注，特斯拉的感知魯棒性會非常強，也降低了相機的維護成本。

自動標注不適用于動態車輛

回顧2021年的ai day可知上述重建構建的是static world，而是不只是車道線車道線，還有車輛和建筑。

3D重建

重建靜態世界并標注

4D空間標注

在BEV空間標注完后，會將標注再映射會多個相機的圖像中，從而實現4D空間一次標注可以2D多幀應用。

關于場景重建，當前的重建能力和精度可能還是沒有達到特斯拉工程師的期望，他們最終的目標是真實還原重建出所有特斯拉汽車行駛過的場景，而且可以真實的改變這些場景的條件生成新的真實場景，這才是終局目標。

還原真實世界

重建真實世界

場景仿真：基于真實道路信息，創造自動駕駛場景

場景仿真

仿真可以獲取絕對正確的label

基于重建去構建的真實場景受限于數據、算法等，當前還難以大規模實現，而且耗時還比較長，例如：上圖一個真實路口的仿真需要花費2周時間。但是自動駕駛的落地又依賴于在不同場景中的訓練和測試，所以特斯拉就構建了一套仿真系統，用于模擬自動駕駛場景。這套系統并不能真實模擬現實場景，但好處是比上述真實常見重建方案快1000倍，可以提供現實中難以獲得或難以標記的數據，對于自動駕駛的訓練仍然非常有意義。