日前，GCP硅谷專家咨詢邀請(qǐng)蔚來汽車北美研發(fā)部機(jī)器學(xué)習(xí)專家，以專業(yè)視角就當(dāng)前汽車的體系架構(gòu)、自動(dòng)駕駛的基本組成內(nèi)容以及機(jī)器學(xué)習(xí)在自動(dòng)駕駛中發(fā)揮的作用進(jìn)行了分享，以下帶來分享內(nèi)容的筆錄整理。

專家介紹

王冠是蔚來汽車首位機(jī)器學(xué)習(xí)工程師，參與設(shè)計(jì)了蔚來汽車目前所有機(jī)器學(xué)習(xí)項(xiàng)目，開發(fā)了其中主要部件。曾任LinkedIn資深數(shù)據(jù)科學(xué)家，最早把機(jī)器學(xué)習(xí)引入LinkedIn商業(yè)分析部，并幫助團(tuán)隊(duì)從3人擴(kuò)展至70人。王冠博士畢業(yè)于UIC，師從Philip Yu進(jìn)行數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的研究工作，并在KDD，ICDM，WWW，ICDE，CIKM等會(huì)議上發(fā)表十余篇論文。

汽車的體系結(jié)構(gòu)

汽車的體系結(jié)構(gòu)主要包括了車載電腦、傳感器、控制器和車載網(wǎng)絡(luò)。

1.車載電腦

車載電腦主要有CPU，隨著深度學(xué)習(xí)更多參與到車內(nèi)計(jì)算，還會(huì)有GPU，以及FPGA、ASIC等專屬的電子單元和芯片，滿足計(jì)算需求的同時(shí)照顧到汽車自身特性。不同于我們使用的電腦硬件，汽車的CPU、GPU對(duì)散熱和功耗有更為嚴(yán)格的需求，需經(jīng)過額外的測(cè)試，以符合車規(guī)標(biāo)準(zhǔn)。然后還有data BUS（數(shù)據(jù)總線）在車內(nèi)傳送數(shù)據(jù)信息。另外，車載電腦的存儲(chǔ)器在下一代汽車的性能將更高，據(jù)估計(jì)，汽車全部傳感器運(yùn)作收集數(shù)據(jù)一小時(shí)的話能達(dá)到1~2TB的數(shù)據(jù)量。

下圖展示的Udacity的自動(dòng)駕駛試驗(yàn)車的改裝造價(jià)達(dá)到二三十萬美元或者更多，不過這里面的軟硬件未達(dá)到車規(guī)標(biāo)準(zhǔn)，還需要把后備箱的很多設(shè)備縮減在一個(gè)電路板上，這樣的試驗(yàn)車距離量產(chǎn)還有很遠(yuǎn)距離。NVIDIA正在做一些集成電路板的工作，比如此前發(fā)布的DRIVE CX的車載娛樂系統(tǒng)和DRIVE PX2的自動(dòng)駕駛系統(tǒng)，不過這樣的芯片仍未達(dá)到車規(guī)，還在不斷地迭代中。

當(dāng)前芯片硬件的發(fā)展需要和深度學(xué)習(xí)方面的進(jìn)展相匹配，適應(yīng)和優(yōu)化計(jì)算需求，使其固化在芯片上。然后科研人員再利用這樣的開發(fā)板進(jìn)行測(cè)試，這樣的方式要比Udacity的試驗(yàn)車進(jìn)一大步。

車廠也要和芯片公司形成協(xié)同開發(fā)的流程：汽車搭載芯片上路獲取數(shù)據(jù)，再反饋給芯片或算法公司，有利于技術(shù)更有效地實(shí)現(xiàn)升級(jí)更迭，這將是個(gè)較長(zhǎng)的過程。

2.傳感器

下圖是Uber的試驗(yàn)車。頂上轉(zhuǎn)的那個(gè)是激光雷達(dá)，頂上盒子里應(yīng)該裝的是高精度GPS。這兩個(gè)東西都很貴，應(yīng)該都比車本身還貴。攝像頭一般裝在車輪上沿的車身四周，有的有三個(gè)，有的有八個(gè)，覆蓋360度。和攝像頭類似位置的還有聲納等傳感器。這里主要談一下攝像機(jī)。

汽車搭載的攝像機(jī)并不是封裝集成好的，只是鏡頭和一些光學(xué)器件，需要自己在芯片內(nèi)存里寫程序。攝像機(jī)會(huì)有各種各樣的性能要求，比如在白天光線很強(qiáng)的時(shí)候攝像頭曝光不能過高，晚上則需要夜視功能，有些時(shí)候還要有視角很廣的魚眼相機(jī)。如此一來就需要有好幾個(gè)攝像頭，每個(gè)攝像頭還來自不同的供應(yīng)商，功能不同，車廠需要自己去組裝安排，接入車載電腦實(shí)時(shí)處理，工程量很大，對(duì)軟件開發(fā)要求也很高。當(dāng)然也有供應(yīng)商提供整套解決方案，不過那樣的話定制化周期就會(huì)很長(zhǎng)。

3.車內(nèi)網(wǎng)絡(luò)

當(dāng)前無論是奔馳這樣的高端車，還是豐田、本田這種中低端汽車的網(wǎng)絡(luò)結(jié)構(gòu)都非常簡(jiǎn)單，相當(dāng)于六七十年代網(wǎng)絡(luò)的水平。首先是不安全：現(xiàn)在車載網(wǎng)絡(luò)的數(shù)據(jù)還沒有加密，任何一個(gè)指令發(fā)出（比如升降車窗的指令），其他的控制器都能收到；其次是網(wǎng)絡(luò)慢、帶寬低，當(dāng)前的車載網(wǎng)絡(luò)根本無法滿足自動(dòng)駕駛數(shù)據(jù)流的需求；然后是容錯(cuò)性（可靠性），某個(gè)通信節(jié)點(diǎn)的損壞不應(yīng)影響整體。因此自動(dòng)駕駛需要有更安全、滿足高數(shù)據(jù)流、與云端可靠連接的網(wǎng)絡(luò)結(jié)構(gòu)。

控制器的話比較成熟，比如設(shè)定汽車轉(zhuǎn)向多少度，通過數(shù)字模擬信號(hào)已經(jīng)能較好地實(shí)現(xiàn)汽車控制。

此外需要談一下汽車的冗余性，Waymo非常注重這一點(diǎn)，會(huì)將子系統(tǒng)設(shè)計(jì)兩套，一旦發(fā)生損壞汽車也能夠安全地實(shí)現(xiàn)自我搶救。分享嘉賓曾經(jīng)在Waymo的一次demo上，看過工程師在汽車自動(dòng)駕駛過程中剪斷了一條供電的線路，車子判斷系統(tǒng)異常，啟動(dòng)應(yīng)急機(jī)制，并且自動(dòng)安全地停在了路邊。未來更智能的車?yán)铮@個(gè)冗余性非常重要。

自動(dòng)駕駛的基本組成

自動(dòng)駕駛主要分為四個(gè)部分：Localization（定位）、Perception（感知）、Planning（規(guī)劃）以及Control（控制），以下主要對(duì)前三者進(jìn)行解讀。

1.定位

定位簡(jiǎn)單講就是解決“在哪里”的問題，需要借助激光雷達(dá)、攝像頭等傳感器反復(fù)上路收集數(shù)據(jù)構(gòu)建高精地圖。當(dāng)然其中也有一些問題：激光雷達(dá)價(jià)格當(dāng)前還是居高不下，發(fā)射的點(diǎn)云比較稀疏，很難去區(qū)分和識(shí)別目標(biāo)物體。點(diǎn)云的彌補(bǔ)辦法就是同一條道路反復(fù)跑很多遍，直到覆蓋的點(diǎn)云數(shù)據(jù)足夠密集；或者與攝像頭結(jié)合，利用攝像頭的目標(biāo)識(shí)別能力選擇性地向物體發(fā)射和收集點(diǎn)云數(shù)據(jù)。

攝像頭的校準(zhǔn)也是大問題。一般攝像頭有內(nèi)部校準(zhǔn)和外部校準(zhǔn)，其中內(nèi)部校準(zhǔn)一般在攝像頭出廠時(shí)已設(shè)定好，比如說焦距，外部校準(zhǔn)則是指通過照相來精確定位攝像頭在汽車的安裝位置，實(shí)現(xiàn)較難。汽車攝像頭在安裝過程很難避免誤差產(chǎn)生，導(dǎo)致其所在位置和設(shè)定好的坐標(biāo)軸不匹配，汽車感知系統(tǒng)因而出現(xiàn)偏差?，F(xiàn)在有自動(dòng)校準(zhǔn)技術(shù)來使攝像頭一定程度上實(shí)現(xiàn)自我矯正，比如利用Visual Odometry技術(shù)和幾種濾波器（kalmanfilter，particle filter等等），但仍不太能滿足要求。實(shí)際量產(chǎn)中多數(shù)為半自動(dòng)程序糾正，影響了量產(chǎn)效率。

假設(shè)在有高精地圖，和校準(zhǔn)了的傳感器的前提下，定位是可以很好的解決的。還可以通過自身定位和歷史數(shù)據(jù)來生成所走路線的地圖。這就是SLAM技術(shù)要做的事。不過其算法還未達(dá)到自動(dòng)駕駛的需求，對(duì)GPS的精度要求也很高。

所以“做地圖”和“用地圖來自動(dòng)駕駛”是兩個(gè)不同的工程，但是它們又相輔相成。而機(jī)器學(xué)習(xí)特別是下面要談的感知技術(shù)又是這兩個(gè)工程都不可或缺的重要組成部分。

2.感知

感知部分深度學(xué)習(xí)使用較多，進(jìn)行目標(biāo)識(shí)別和檢測(cè)。但當(dāng)前感知仍是淺層的，實(shí)際的檢測(cè)準(zhǔn)確率也只有70~80%。比如多數(shù)系統(tǒng)只能識(shí)別目標(biāo)是車，但是不理解不同的車型會(huì)影響我們的駕駛判斷。比如消防車、醫(yī)護(hù)車還是警車在旁邊的時(shí)候，或者它們信號(hào)燈開閃的時(shí)候，我們的駕駛行為是要做出改變的，而自動(dòng)駕駛算法還未做到這點(diǎn)。

另外，有些物體是可以忽略的，比如小的紙箱子，有些不能忽略，比如石頭，現(xiàn)在的物體識(shí)別還沒做到可以理解這些含義的地步。再舉個(gè)例子，鏡子里的車也會(huì)被認(rèn)為是真車。所以，理解這些物體的“物理意義”將是深度學(xué)習(xí)需要解決的難題，這屬于另一個(gè)范疇，這里不展開談了。

此外，重要的tracking（目標(biāo)跟蹤）技術(shù)當(dāng)前也發(fā)展不足。傳統(tǒng)使用的卡爾曼濾波器能夠根據(jù)周邊汽車在1~2秒短時(shí)間內(nèi)近乎勻速的運(yùn)動(dòng)大概估計(jì)其速度信息，基于深度學(xué)習(xí)的tracking依靠以往的訓(xùn)練數(shù)據(jù)跟蹤和預(yù)判汽車軌跡，但效果比前者還是差一些，不夠成熟。

3.規(guī)劃

汽車實(shí)現(xiàn)定位、感知，需要進(jìn)一步規(guī)劃接下來的駕駛行為。規(guī)劃（planning）主要分為以下幾類：

Route planning（路徑規(guī)劃）是指宏觀層面為汽車設(shè)定駕駛路線，類似于我們手機(jī)里的地圖，輸入起點(diǎn)終點(diǎn)，規(guī)劃一條路徑，該技術(shù)當(dāng)下已經(jīng)非常成熟，并實(shí)現(xiàn)了毫秒級(jí)的響應(yīng)；微觀的behavior planning（行為規(guī)劃）則根據(jù)對(duì)周邊態(tài)勢(shì)的感知預(yù)測(cè)來決定是否進(jìn)行轉(zhuǎn)向、加減速的動(dòng)作；Motion planning（運(yùn)動(dòng)規(guī)劃）粒度更細(xì)，規(guī)劃汽車短時(shí)間內(nèi)的轉(zhuǎn)向角度、加速度變化等。

行為規(guī)劃是難點(diǎn)。而行為規(guī)劃又分成1～2秒的規(guī)劃，和30秒左右的規(guī)劃。

1～2秒內(nèi)汽車的路徑規(guī)劃可以利用RRT（快速搜索隨機(jī)樹）或CC-RRT（可理解為概率計(jì)算+RRT算法）技術(shù)，通過機(jī)器學(xué)習(xí)系統(tǒng)感知周圍物體并預(yù)測(cè)其未來分布位置的概率，為了降低撞到其他物體的幾率，汽車會(huì)通過樹狀搜索規(guī)劃出一條即時(shí)路徑。做CC-RRT最好的是MIT的一個(gè)實(shí)驗(yàn)室。CC-RRT的作者在其MIT博士畢業(yè)之后去了Google做自動(dòng)駕駛的path planning的負(fù)責(zé)人。所以今天Waymo的系統(tǒng)很可能就是那樣做的。不過以上只針對(duì)1~2秒的行為判斷，30秒的提前預(yù)判目前還未解決，處于萌芽狀態(tài)。

當(dāng)前很多車廠在路徑規(guī)劃上的做法仍是基于人工的規(guī)則系統(tǒng)進(jìn)行的，事先設(shè)定上千條可預(yù)期的駕駛規(guī)則，避免常見事故，但交通場(chǎng)景千變?nèi)f化，基于規(guī)則設(shè)定是無法覆蓋全部場(chǎng)景的。

自動(dòng)駕駛中的機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)在自動(dòng)駕駛中覆蓋到很多方面，包括定位，感知，決策的很多細(xì)節(jié)。這里就其中決策規(guī)劃的重要部分進(jìn)行分享，很多科研工作取得了很好的進(jìn)展，但是還沒有到人工智能能夠獨(dú)立控制開車的地步。

大家都知道開車積累的圖像數(shù)據(jù)要為機(jī)器學(xué)習(xí)所用，需要對(duì)每幀圖像中的目標(biāo)物體、可駕駛區(qū)域和駕駛路徑的變化都需要進(jìn)行標(biāo)注，幫助機(jī)器學(xué)習(xí)后期在感知、預(yù)測(cè)、行為規(guī)劃的訓(xùn)練，使算法能夠在以后自主對(duì)未處理圖像進(jìn)行標(biāo)注判斷。

訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)當(dāng)前有幾類模型，比如Behavior cloning（行為復(fù)制），是利用CNN（卷積神經(jīng)網(wǎng)絡(luò)）和LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)），學(xué)習(xí)以往的駕駛數(shù)據(jù)來應(yīng)對(duì)以后發(fā)生的類似場(chǎng)景。但面對(duì)沒遇到的場(chǎng)景時(shí)該模型將難以應(yīng)對(duì)。

另一方案是將人類的駕駛數(shù)據(jù)輸入GAN（生成式對(duì)抗網(wǎng)絡(luò)）進(jìn)行訓(xùn)練，自我生成可比擬人類駕駛的行為數(shù)據(jù)，放入LSTM中，根據(jù)歷史行為輸出未來可能的駕駛行為，使系統(tǒng)具備預(yù)測(cè)能力。這方面目前斯坦福有個(gè)實(shí)驗(yàn)室做了很多工作，但該研究仍處于萌芽狀態(tài)，離應(yīng)用到量產(chǎn)車上仍有很大距離。

結(jié)合之前討論的內(nèi)容，如果以機(jī)器學(xué)習(xí)系統(tǒng)來指導(dǎo)汽車自動(dòng)駕駛，現(xiàn)在還處于非常初級(jí)的階段。相對(duì)較好的還是通過機(jī)器學(xué)習(xí)進(jìn)行目標(biāo)識(shí)別、感知、預(yù)測(cè)，再使用機(jī)器人技術(shù)（CC-RRT）搜索和規(guī)劃路徑。

上一篇：歐盟正式批準(zhǔn)高通380億美元收購(gòu)恩智浦半導(dǎo)體 下一篇：中國(guó)首個(gè)大型綜合智能網(wǎng)聯(lián)汽車試驗(yàn)基地開工