自動駕駛場景里有著四類狀態(tài)估計問題，即“我在哪”“我周圍有什么”“接下來會發(fā)生什么”“我應該怎么做”
我在哪？——定位依靠高精地圖以及SLAM同時定位與建圖，將車輛所在附近靜態(tài)環(huán)境進行描述，作為定位方案的錨定物，對自身的位置進行定位與校準。
我周圍有什么？——同時，車輛的感知系統(tǒng)將通過傳感器和算法將周圍的障礙物位置、大小、狀態(tài)、類別等標識出來。
接下來會發(fā)生什么？——車輛知道周圍動態(tài)物體后，還需要能夠盡可能的預測這些物體的走向，包括行為預測和速度預測。
我該怎么做？——最后是決策、規(guī)劃、控制，即根據(jù)綜上信息選擇最合適的方式達到目的地。還需考慮行車的體感、安全和快捷等因素，通過多種算法來得到駕駛行為。
針對前言所述的四類狀態(tài)估計問題，寅家科技在感知、定位、規(guī)控環(huán)節(jié)使用了全棧自研算法解決方案。
感知定位：包含環(huán)境感知和車輛定位，使用深度神經(jīng)網(wǎng)絡以及傳感器融合定位算法，負責定位以及提供行車泊車所需的語義信息。
軌跡規(guī)劃：軌跡規(guī)劃的任務是計算出一個無碰撞、可執(zhí)行、高效并充分考慮乘車舒適度的軌跡，保證車輛從起點安全的到達目的地。
車輛控制：車輛控制是指由車載中央處理器發(fā)出指令，控制方向盤，油門和剎車將車開到目的地。車輛控制算法一般稱為控制器，通常使用MPC模型和PID控制器使車輛跟隨軌跡。
接下來，我們將以泊車場景（AVP/APA）為主要場景，詳細展開寅家科技是如何通過深度學習算法，獲得精確與高效的環(huán)境感知和場景表示結(jié)果，以及我們基于深度學習的自動駕駛算法設(shè)計實踐。
一、關(guān)于深度學習
深度學習是數(shù)據(jù)驅(qū)動的建模算法，與傳統(tǒng)機器學習的最大差別及優(yōu)勢在于模型參數(shù)結(jié)構(gòu)的體量與復雜性，可以在大量數(shù)據(jù)驅(qū)動下優(yōu)化建模產(chǎn)生具備執(zhí)行某項特定任務的功能的大型非線性函數(shù)。深度學習的核心競爭力在于優(yōu)異的模型結(jié)構(gòu)和優(yōu)質(zhì)的海量標簽化數(shù)據(jù)和訓練數(shù)據(jù)。
（1） 寅家科技使用深度神經(jīng)網(wǎng)絡進行圖像語義分割、目標檢測、深度估計以及目標跟蹤：對馬路，可行駛區(qū)域，路沿，車道等圖像語義信息以及地面標志進行分割；對交通標識，障礙物、人、車、騎士進行目標檢測和深度估計，針對人、車和騎士等移動物體更進一步進行跟蹤。輸出感知結(jié)果給規(guī)劃，避障， 定位等模塊進行下一步處理， 并且進行可視化輸出。
（2）在深度神經(jīng)網(wǎng)絡監(jiān)督學習中，通過數(shù)據(jù)標記識別原始數(shù)據(jù)，并添加一個或多個有意義且信息豐富的標簽以提供上下文。通過高性能的自動標注工具以及后期仔細的人工檢驗，對海量的車廠數(shù)據(jù)進行標簽化，以便深度神經(jīng)網(wǎng)絡模型從中學習和推斷。
（3）獲得更大的優(yōu)質(zhì)數(shù)據(jù)集是提高深度學習算法性能可靠的方法之一 ，寅家科技深度學習采用監(jiān)督學習和無監(jiān)督學習相結(jié)合，在模擬訓練中以大量的實車數(shù)據(jù)與GAN網(wǎng)絡虛擬集相結(jié)合，進行大規(guī)模訓練，強化神經(jīng)網(wǎng)絡模型性能。
二、基于深度學習的感知融合算法
環(huán)境感知負責檢測各種移動和靜止的障礙物（比如車輛，行人，建筑物等），以及收集道路上的各種信息（比如可行駛區(qū)域，車道線，交通標志，紅綠燈等），這里需要用到的主要是各種傳感器（比如攝像頭，激光雷達，毫米波雷達等），那寅家科技是如何通過深度學習算法讓傳感器協(xié)同工作的呢？
（1）前融合+后融合：大多數(shù)進行傳感器融合的公司要么使用前融合，融合來自不同傳感器的原始數(shù)據(jù)；要么使用后融合，并在此后使用卡爾曼濾波器融合對象。
寅家科技采用的是前融合+后融合，對融合后的結(jié)果進行檢測等操作，多重過濾機制確保檢測可信度；空間融合結(jié)合精確的定位信息進行時間上的融合，提升算法的準確性，實現(xiàn)多種動態(tài)目標、靜態(tài)目標以及障礙物的識別。
其中，動態(tài)目標包括：成年人、兒童、騎行者等行人，轎車、SUV、面包車、卡車、客車、摩托車以及代步車等車輛；靜態(tài)目標包括車位、車位號數(shù)字、車道線、紅綠燈以及多種交通標識；障礙物包括地鎖、錐形障礙物、限位杠、路沿以及非典型障礙物（垃圾、沙堆、塑料袋等）。
（2）感知算法復雜度處理：寅家科技在感知方面，大中小型網(wǎng)絡分別可達到92-99%檢出率以及低于1%的誤檢率；針對車載芯片算力限制，計算復雜度太高的情況，對網(wǎng)絡進行了稀疏剪枝，將模型縮小10倍，性能保持不變，并且使用了硬件加速，將fps從15增加到60；并改進算法，增加小目標檢測的效果，使得網(wǎng)絡能夠支持更遠距離小目標但不會使算法變得過于復雜。
（3）惡劣天況處理：面對下大雨、下雪、夜色等天氣時或特別擁擠的交通狀況下，會導致要素不可見、不清晰而降低感知能力。此種情況下可采取增加其他特征的識別，以保證結(jié)果的準確性，比如，在車道線檢測中，參考廣義的路沿的識別；汽車無法識別判斷，可識別車燈、車尾燈，從而判定為汽車。
（4） 性能提升：針對攝像頭畸變造成的目標檢測率下降問題，修改了網(wǎng)絡結(jié)構(gòu)調(diào)整了卷積神經(jīng)網(wǎng)絡感受野效果，將網(wǎng)絡性能提升了 8.5%。
（5）適配不同硬件平臺：使用ipm逆變換的方法和多種深度學習網(wǎng)絡進行深度估計，可以根據(jù)不同的硬件資源（國產(chǎn)或進口），在不升級硬件或者不使用低功耗芯片的情況下，靈活地選取深度方法來進行落地，算力覆蓋4TOPs～200TOPs。
（6）同時定位和建圖：是自動駕駛的關(guān)鍵技術(shù)之一。寅家科技在定位常用的兩種解決方案：可通過視覺SLAM+輪數(shù)計實現(xiàn)15CM定位誤差，優(yōu)勢在于計算量少；或是視覺+IMU+GPS融合SLAM算法，可實現(xiàn)5MM定位誤差，多模態(tài)融合是未來SLAM發(fā)展的必然趨勢。
三、軌跡規(guī)劃與控制車輛
軌跡規(guī)劃主要的優(yōu)化目標是保證車輛行駛過程中的安全性、穩(wěn)定性、舒適性和駕駛效率。寅家科技采用語義格柵地圖自動駕駛車輛路徑規(guī)劃方法，進行粗軌跡+數(shù)值優(yōu)化進行泊車規(guī)劃，保證行車規(guī)劃速度平滑。通過行為規(guī)劃管理，進行規(guī)劃階段管理、重規(guī)劃、軌跡切割、不同工況管理等，實時碰撞估計軌跡修正。
車輛控制是驅(qū)使車輛按照給定路線行駛。對于汽車而言，透過控制方向盤轉(zhuǎn)角、油門及剎車控制轉(zhuǎn)向和加速度?？刂破鞯娜蝿帐鞘褂每刂戚斎胱屲囕v跟隨軌跡。常用的LQR+PID控制基于輸入輸出變量的各種約束透過求解LQR優(yōu)化問題得到油門、方向盤的最優(yōu)解。優(yōu)點在于模型簡單、計算量小、速度較快；而學術(shù)常用的MPC控制，相對于LQR+PID控制而言，更多的考慮空間狀態(tài)變量的各種約束。
結(jié)語：
寅家科技自主開發(fā)全棧式軟件算法，準確性和反應速度行業(yè)領(lǐng)先，具有多種網(wǎng)絡配置，可部署在不同計算能力的硬件平臺上，適配各車廠不同的需求?，F(xiàn)有產(chǎn)品大量出貨以及自研的數(shù)據(jù)平臺大數(shù)據(jù)處理，為后續(xù)產(chǎn)品研發(fā)和更新、性能優(yōu)化奠定了堅實的基礎(chǔ)。
接下來，寅家科技將推出“VT-Pilot2.0自動駕駛輔助系統(tǒng)”， 覆蓋感知、融合、規(guī)控到域內(nèi)集成、跨域聯(lián)合多模態(tài)行泊一體等多項智能技術(shù)，通過持續(xù)提升產(chǎn)品研發(fā)創(chuàng)新能力，充分發(fā)揮算法的獨特優(yōu)勢，與客戶伙伴攜手共推高階智能駕駛方案落地。
（轉(zhuǎn)載）
