全自動駕駛汽車的一個關鍵策略是能夠將來自多個傳感器的輸入融合在一起，這對于做出安全可靠的決策至關重要，但事實證明，這比最初想象的要困難得多。
需要解決的問題有很多，包括如何劃分、確定優先級并最終組合不同類型的數據，以及如何構建車輛內部的處理，以便它能夠根據這些不同的數據類型快速做出決策，以避免事故。對于如何實現這一目標，沒有單一的最佳實踐，這就是為什么許多汽車原始設備制造商采取了截然不同的方法。
西門子數字工業軟件公司(Siemens Digital Industries Software)負責混合物理和虛擬系統、汽車和航空航天業務的副總裁大衛•弗里茨(David Fritz)表示:“主要有三種方法來看待這個問題。“一種方法是在處理之前融合來自多個傳感源的原始數據。雖然這種方法可以降低功耗，但來自一個傳感器陣列的不良數據可能會污染來自其他傳感器的良好數據，從而導致不良結果。此外，大量原始數據的傳輸帶來了帶寬、延遲和系統成本等其他挑戰。”
第二種方法是對象融合，其中每個傳感器處理數據并將其特定傳感器的處理結果表示為對其檢測到的內容的解釋。
“這樣做的優點是可以無縫集成機載傳感器的結果。基礎設施傳感器，以及其他車輛上的傳感器。”“這種方法的挑戰在于物體的通用表示和標記，以便它們可以在不同的車輛和基礎設施之間共享。第三種選擇是前兩種方法的混合，從功率、帶寬和成本的角度來看，這是我們發現的最引人注目的選擇。在這種方法中，物體被傳感器檢測但不分類。在這種情況下，物體的點云被傳輸到機載中央計算系統，該系統對來自內部和外部不同傳感器的點云進行分類(標記)。
關于汽車生態系統的討論才剛剛開始，還有很多挑戰需要克服。
“你需要弄清楚你擁有哪些物品，以及何時使用它們，”Arteris IP的業務開發副總裁弗蘭克·施勒邁斯特(Frank Schirrmeister)說。“所有的形式都非常不同。如果你在看激光雷達，有一些很時髦的距離地圖。在相機中，它是RGB的，有一組像素。對于熱能，還有別的東西。甚至在你關聯和融合所有這些東西之前，你需要以某種方式理解這些格式。從體系結構的角度來看，這可能會導致最理想的處理是在傳感器上或靠近傳感器。然后，在不同的位之間進行對象相關。但你需要弄清楚細節，比如物體有多熱，物體有多遠，等等。這是這些不同傳感器的維恩圖，它們有一組重疊的特征，其中一些比另一些更好。”
傳感器融合是一個快速創新的領域，得益于算法的不斷改進和芯片行業對SoC架構的深入了解。
Synopsys高級產品經理Markus Willems表示:“傳感器融合的一個共同點是需要異構處理方法，因為它需要信號處理的組合——通常使用DSP、專用加速器上的人工智能處理，以及使用CPU的控制代碼。”“根據傳感器的類型，需要支持不同的數據類型。這包括用于圖像數據的8位整數處理，或用于雷達處理的32位單精度(SP)浮點數，而人工智能處理可能需要bfloat16等。在單個芯片上運行不同類型的處理器需要復雜的軟件開發流程，利用優化的C/ c++編譯器和函數庫，以及支持最新神經網絡的圖形映射工具，包括傳感器融合中使用的變壓器。內存、帶寬和延遲是關鍵的設計參數，設計人員希望看到處理器仿真模型和SoC架構探索工具的早期可用性，以檢查假設場景。”
雖然傳感器融合在汽車領域受到了很多關注，但它對其他市場也很有用。
Cadence Tensilica IP集團產品管理組總監Pulin Desai表示:“我們專注于汽車領域，因為攝像頭、雷達和激光雷達中將配備圖像傳感器。“在機器人應用中也可能有圖像傳感器和IMU。可能會有多個圖像傳感器，你會融合這些東西。其他傳感器包括陀螺儀、磁力計、加速度計，這些傳感器在許多不同的領域以各種不同的方式被使用。雖然在汽車方面有很多關注，但同樣的圖像傳感器和雷達傳感器也應用于家庭掃地機器人。它的結構可能與無人機非常相似。任何一種無人駕駛車輛都有這種傳感器。”
有大量的數據流。弄清楚在哪里處理這些數據是一個挑戰，部分原因是并非所有數據都采用相同的格式。
Arteris的Schirrmeister說:“這里存在經典的邊緣計算情況，你需要決定如何平衡整個鏈條的處理——從你從模擬世界獲得數據，到你在大腦中做出決定或與混合使用模型的駕駛員互動。”“對象關聯聽起來更現實，但也存在各種各樣的挑戰。熱雷達、激光雷達和雷達都使用不同的類型來表示數據。如果你看激光雷達，因為它本質上是給你一定距離內的點，這是一種完全不同于你從相機得到的數據類型。將所有這些關聯在一起當然不是微不足道的，而且可能需要大量的計算。更重要的是，你需要決定不同的項目是否彼此不一致。如果有，你會選擇什么?你使用平均值嗎?將所有這些傳感器結合起來絕對是一個挑戰。”
當涉及到數據的實際融合時，西門子的弗里茨已經觀察到許多方法。“一些早期涉足這一領域的公司，也就是英偉達起步的時候，他們說，‘我們可以做很多人工智能方面的事情。當傳感器數據輸入時，我們可以使用我們的高端gpu，嘗試降低它們的功耗，然后用神經網絡處理。“這就是為什么幾年前我們在后備箱里裝了一個必須水冷卻的架子。然后你把激光雷達的人扔進來，他們說，“我知道你不能為激光雷達支付每臺2萬美元，所以我們正在努力讓激光雷達更便宜。”然后有人說，‘嗯，等一下。照相機只要35美分。為什么我們不放一堆攝像機把這些融合在一起呢?他說:“這始于幾年前的一種蠻力的、幾乎是腦殘的方法。這就是“我有原始激光雷達數據”的方法。我有原始的相機數據。我有雷達，激光雷達，攝像頭。我要怎么把這些聯系起來?“人們做了一些瘋狂的事情，比如把激光雷達數據轉換成RGB。“我們有多個幀，因為有距離信息。然后我們將通過最簡單的卷積神經網絡運行它來檢測物體并對它們進行分類。這就是它的程度。但有些人仍在試圖這么做。”
相比之下，特斯拉仍然主要依賴于攝像頭數據。Fritz表示，這是可能的，因為立體相機的功能，甚至單聲道相機在固定時間內的連續幀，使用視差來確定深度。“正因為如此，他們說，‘我為什么需要激光雷達?因為我沒有激光雷達，所以我沒有傳感器融合的問題。它只是簡化了事情。但是如果相機的鏡頭被水或污垢覆蓋。他們有這些問題需要擔心。在另一個極端的情況下，如果你完全依賴激光雷達，我見過這樣的場景，你有一個人走過街道的二維圖像，汽車認為這是一個真實的人。為什么?因為反射。人們不知道激光雷達發生了各種各樣的事情，而且很難過濾掉這些事情。”
融合不同的數據類型還取決于存在什么類型的傳感器。“人們在談論早期、中期和晚期的融合，”Cadence的德賽說。“這完全取決于我們的客戶和我們客戶的客戶的系統設計，這表明他們試圖解決什么類型的問題。我們對這些事情是不可知的，因為有立體傳感器可以做早期融合，或后期融合，因為你的圖像和數據都已經確定了目標，你做后期融合。也可能是中間融合，這更像是系統供應商的選擇，他們想要如何進行融合，他們想要做多少計算，信息有多健壯，或者他們想要解決什么類型的問題。這有多難?嗯，這取決于核聚變的類型。”
Desai表示，另一個需要考慮的問題是，特別是在人工智能/機器學習技術備受關注的情況下，何時使用它們，或者經典DSP是否更合適。“我將我們過去所做的一些事情與我們今天所做的事情進行了比較。在某些問題上，你有一種確定的方法，你可以用人工智能獲得很高的成功率。例如，我們在2012年和2013年做人臉和人的檢測時，我們使用的是經典的計算機視覺算法，但是當時的算法并不是很準確。要達到這樣的精度是非常困難的。然后，當我們轉向人工智能時，我們在人臉檢測和人物檢測方面的表現非常強勁。所以現在有一個非常確定的情況，你說，‘我要做面部檢測，我可以達到我們所說的人類99%的準確率，而人工智能可以給我97%的準確率。“為什么我要玩不夠好的東西?”我會去用這個人工智能，因為我知道它是做什么的，它給出了最好的準確性。但在某些情況下，比如當我還在努力解決問題時，我需要嘗試不同的算法，并在我的環境中發揮作用。我需要能夠做X、Y或Z，我需要靈活性。在那里，你繼續使用數字信號處理器來處理這些算法。”
此外，在使用AI引擎的很多時候，進入AI引擎的數據必須經過預處理，這意味著它必須采用特定的格式。
“在特定的數據類型中，你的人工智能引擎可能會說，‘我只做固定點，’”德賽解釋道。“所以你可能會使用可編程引擎來做到這一點。然后，一旦你將某些東西放入AI中，你可能就沒有太多的靈活性了。四年后，當有新的東西出現時，你可能不得不改變它。有很多不同的因素。本質上，如果你在做一些非常確定的事情，你會知道你可以達到一個非常高的性能率，你今天就知道了。你可能會說，‘我今天要用人工智能來解決這個問題。明天，我可能還會那樣做。“然后，我通過使用可編程引擎來增加靈活性。或者，如果我不知道我需要處理它，那么我仍然會使用經典算法來處理它。即使我有人工智能，我仍然需要對數據進行預處理和后處理，所以我需要使用經典的DSP算法。”
結論
隨著汽車原始設備制造商和系統公司將其計算架構向傳感器融合發展，實驗將成為一種需求。
西門子的Fritz認為，在這一發展階段，處理開發的正確方法是雇傭或組建一些小團隊來做大量的試點項目。“這可能是一打或二十多人。例如，到2026年或2028年，他們的目標可能是在測試環境中生產300輛原型車。”
盡管如此，每個OEM今天所處的位置取決于OEM，他們從事架構開發的時間，以及他們希望如何繼續這樣做。
新聞來自：西門子數字工業 David Fritz
熱門新聞
Global
