分類: 未分類

本分項充分運用人類視覺之外的感官系統，建立無人機感測系統（包括飛行姿態、飛行環境等）與操控者之間的多重體感智慧連結。初步以觸覺、聽覺著手，進行資訊具象化之回饋實驗。其資訊回饋有飛行資訊（升降、加減速、抗風狀況、朝向、周邊障礙）與飛行環境（空速、溫度）兩類。而體感類型包括震動、壓力、聲音三大類。

我們參考的架構為Nvdia在2016年所發表Pilot Net模型，主要架構為一個監督式學習的CNN model ，輸入一張照片進去之後，輸出此時無人機該進行的動作，為學習人類專家在看到這個場景時所會做出的判斷。

我們使用deep deterministic policy gradient (DDPG)作為學習障礙物迴避控制的深度強化學習演算法，此演算法使用兩個神經網路─決策網路與評判網路─與環境互動。我們使用人工勢場避障的演算法（potential field）根據周遭障礙物資訊以及目標位置，建構出一個虛擬的位能場，並且計算出在該處的加速度向量作為無人載具的移動方向與速度判斷。透過少量的專家操作資訊作為提示，鼓勵演算法在模仿專家之餘發展出更佳的策略。這套方法被稱為from demonstration，從演示的策略中模仿並且更有效的探索。

透過無人機上的攝影機直接對畫面中的障礙物進行偵測，分兩個架構：

• 架構一：結合基於深度學習的障礙物偵測方法以及深度預測方法於單一整合架構中，達到即時(real-time)障礙物偵測與深度預測。
• 架構二：透過深度學習結合障礙物偵測方法與場景深度預測方法，建立類神經網路模型，以用於即時障礙物偵測與場景深度預測

 

在特徵匹研究配領域中，克服不同影像中光線的嚴重變化一直是許多計算機視覺應用中的一項艱鉅任務。我們提出了III-Net，這是一種新穎的訓練模型，利用我們提出的double-triplet loss with softmax loss來處理特徵匹配，可以有效的提升整體特徵比對的表現以及穩定度。和以往深度學習的架構不同，我們所提出的III-Net會多處裡在特徵比對中光線變化非常大的情況，也因為多了這項處理，我們在許多現實生活中的表現比過去所有的研究結果都得到更好的結果。

我們在電腦上架設微軟開發的AirSim模擬器，透過此款模擬器，我們可以在虛擬世界中不受場地、天氣、時間的限制下，盡情地操控無人機，且無須擔心電池電量問題，亦無須擔心無人機因操作不當或失控撞毀墜機等安全問題。此外，我們將遙控器與VR顯示結合，使用者可以經由VR頭盔在虛擬世界中看到無人機，並透過FrSky遙控器去控制無人機

 

使用image based的方式，透過2D影像計算稀疏點雲(sparse point cloud)，進而重建出真實場景的3D模型。重建完模型後，為了減少後續的圖學運算量使無人機模擬器的效能提升，我們必須精簡化3D模型，此處我們使用Meshlab的模型簡化演算法

本子項運用Segnet對影像進行分割，將所須要判斷的物件與背景等進行區分，再透過使用Deeper Depth Prediction with Fully Convolutional Residual Networks的方法進行深度預測並套用到空拍照片上，最後結合深度學習YOLOv2，進行無視角的建築物偵測，判斷飛行區域是否有建築物，再運用此方法進行飛行場域之分析。