國立交通大學 NCTU

二乘二排列Kinect v2攝影機合成廣角度虛擬視點視訊

2017/06/28
英文名稱Wide Angle Virtual View Synthesis using Two-by-Two Kinect V2
技術編號C16-HMH-22-1
參與教授杭學鳴教授
所屬計畫智慧型情境系統建構之高階繪圖、3D視訊與雲端儲存基礎技術研發計畫(2013~)
應用產業影視娛樂虛擬實境與擴增實境
技術分類影像強化, 影像調整, 深度感測資訊, 立體視覺, 背景重建, 和 虛擬實境
技術功效可同時在多相機運作, 提升系統整合性, 和 提高合成影像品質
技術狀態可移轉技術

傳統的虛擬視點合成演算法在過去十年間被廣泛的研究。然而,在視訊合成應用上會需要合成基線以外的虛擬視點資訊,而這種合成方法又稱為廣角虛擬視點合成。廣角虛擬視點合成經常會產生許多裂縫、大遮蔽區域於合成的虛擬視點。因此我們提出一個廣角虛擬視點合成系統基於實際拍攝到的多個彩色影像與深度圖。 本研究使用四台Kinect v2攝影機以二乘二排列的架構並整合了由我們的同事所開發的兩個必要步驟來組成一個完整且實際的系統。本研究額外提出兩個方法,第一個是我們提出多視點融合演算法就算映射後的影像有瑕疵,仍能有效改善合成的影像品質。運用四台RGB-D攝影機進行參考視點的拍攝,使我們有足夠的資訊來決定不正確的映射像素,並從其他張映射圖選取正確的像素修補之。由於Kinect沒有提供多台Kinect拍攝用的硬體同步訊號,因此我們提出的第二個方法是解決多台Kinect之間不同步拍攝的問題。為了方便起見,我們實現一個時脈調整系統基於PC時脈同步軟體。我們觀察虛擬視點在不同的傾斜、縮放情況下的合成品質。實驗結果顯示,我們所提出的多視點融合演算法運用於實際使用四台Kinect拍到的資訊,主觀上有不錯的合成品質。就我們所知,我們所提出的系統是第一個使用四台RGB-D攝影機架構運用於廣角虛擬視點合成。

圖1.實驗環境

圖2. 完整系統流程

圖3. 虛擬視點相機與真實相機位置關係圖(虛擬視點相機5度向下傾斜,並有100mm相機放大)

 圖4. 合成影像比較(虛擬視點相機5度向下傾斜,並有100mm相機放大) 左半:前一年本實驗室成果[1](只能用兩個相機);右半:本技術產生的成果(四個相機)。

 

系統規格:
四台Kinect v2攝影機+四台PC
Windows 7
Kinect v2 SDK
系統要求:
同上,PC+16G RAM