國立交通大學 NCTU

實際場景障礙物偵測與迴避

2021/01/11
Application汽機車產業無人飛行器、及 監控與保全業
Function嵌入式系統深度感測資訊
Technical Benefit具嵌入式解決方案提升系統智慧性

實際場景之單相機輕量化深度預估模型,可進行障礙物偵測與迴避,以不同輕量化模型,進行單相機深度估測,找出最適合無人機使用的神經網路模型。我們的模型訓練框架採用monodepth2架構,保留了原本的優化優點,利用三張連續影像作為輸入,再分別使用深度網路估測出的深度圖採樣的輸入影像解析度大小,而後透過姿態網路所產生出來的相機自我運動(Pose),針對三張連續影像進行六種方向的合成,分別與原始影像計算光度重投影誤差,得到六種方向的光度重投影損失,再利用這六種方向的光度重投影損失分別計算目標影像與來源影像間的誤差,得到Auto-masking 的自動遮罩,接著計算最小的光度重投影誤差,得到三個最小光度重投影誤差。


圖一、在本研究開發的深度模型中,以不同網路模型作為Encoder,進行深度估計的結果。本利使用的是KITTI dataset。

圖二、Encoder中調整不同的架構,進行效能比較的結果,表中紅色表單項中最佳結果,藍色為次佳的結果。

觀看影片:https://youtu.be/PDrswvoENpw