國立交通大學 NCTU

視訊安全監控與應變系統—三維通信網路技術及其在智慧校園之應用(大產學聯盟)(I)分項計畫 ( 2016/10~ ):相關技術

Details應用流形學習與偏頗分析之人臉驗證方法

英文名稱Face Verification Using Manifold Learning and Biased Discriminant Analysis
技術編號M17-CCH-10-1
參與教授韓欽銓教授
應用產業監控與保全業
技術分類影像辨識
技術功效降低錯誤率/增進穩定性
技術狀態可移轉技術

電子商務於行動支付應用上,個人身份驗證扮演著行動服務是否成功的重要角色,而生物特徵為最安全且友善的驗證機制,然而人臉驗證系統建置,常有不易收集大量訓練樣本的問題。為了克服低訓練樣本、低正確率的問題,我們結合「流形學習」與「偏頗分析」技術在人臉驗證系統中,利用投影方法,將高維流形空間中的原始人臉影像資料,投影到降低資料維度的特徵空間,流形學習方法可以克服少量訓練樣本數的問題,避免少量樣本問題導致無法有效鑑別及減少資料維度問題,而偏頗分析則是改進傳統鑑別學習,著重於學習正樣本模型,忽略負樣本分布,減少負樣本分布凌亂的衝擊,藉以得到最合適正確樣本的投影空間,如此一來,可以增加資料鑑別度。

上圖為「流形學習」與「偏頗分析」示意圖。圖中矩形、圓形及星形,相同圖形表示相同人的人臉影像,綠色圖形表示正確樣本,紅色則為錯誤樣本。本技術目的在找到一個投影空間,除了降底維度,同時可以縮小正確樣本之間的距離;增加錯誤樣本與正確樣本的距離,藉以增加驗證率。

 

Details深度學習快速檢索特徵

英文名稱Deep learning of feature representations for efficient retrieval
技術編號X17-CSC-00-1
參與教授陳祝嵩教授
應用產業教育應用, 智慧機器人, 汽機車產業, 監控與保全業, 和 醫療與照護產業
技術分類其他
技術功效增進計算效能/執行速度
技術狀態可移轉技術

考量深度學習在檢索方面,由於檢索所需之空間龐大,常需以二元(binary)或雜湊(hash)碼的方式儲存以降低所需空間。而深層網路訓練的特徵大部分為多維的實數向量。我們發展了一個以潛在層(latten layer)學習二元特徵碼的方法,能夠強化所習特徵之檢索速度。

圖:以AlexNet 為例,我們於原本網路的特徵層與輸出層間嵌入一個潛在的0-1表示層,並強迫其輸出值接近0或1。輸出的分類或標籤則依賴於這些0或1的隱觀念來加以學習,藉此以獲得涵蓋語意資訊的二元特徵碼。此處雖以AlexNet為例,本法亦可與其它深層網路配合以有效獲取二元雜湊碼。

Details以深度學習為基礎的行人偵測

英文名稱people detection base on deep learning
技術編號M17-CCL-10-1
參與教授連振昌教授
應用產業汽機車產業, 監控與保全業, 和 雲端系統與物聯網應用
技術分類影像偵測影像辨識
技術功效提升天候變化容忍度, 提升系統整合性, 提升系統智慧性, 擴大監控範圍, 和 降低錯誤率/增進穩定性
技術狀態可移轉技術

傳統行人辨識技術仍無法提高辨識率的原因,在於行人偵測及辨識技術會因為光線干擾、衣服顏色、複雜背景、行為動作和遮蔽等因素影響,且要設計可通用於各環境的特徵是非常困難。因此我們採用深度學習技術應用於此,主要利用深度學習技術,以提取出局部到全域的特徵,並應用提取出來的特徵進行行人的偵測和辨識,我們所採用的深度學習網路架構在影像比其他深度學習網路架構快上1.5倍,可每秒約處理 15 張影像以上,準確度可達九成。

(a)

(b)

圖(a)為PIROPO資料庫辨原始影像。圖(b)深度學習技術辨識結果。

系統規格:

  • 開發平台: Windows 10
  • 開發工具:Visual studio 2015
  • 開發相關套件: Opencv 2.4.9 、 cuda 7.5

 

系統要求:

  • Intel Core 4代以上
  • Ram: 4GB以上

顯示卡:Geforce GTX 1050Ti

 

Details高準確性及高可靠度車牌辨識系統

英文名稱High accuracy and high reliability license plate recognition system
技術編號O17-CCL-10-1
參與教授連振昌教授
應用產業汽機車產業, 監控與保全業, 和 雲端系統與物聯網應用
技術分類影像偵測影像辨識
技術功效可同時在多相機運作, 增進計算效能/執行速度, 提升天候變化容忍度, 操作方便/降低人工參與度, 和 降低錯誤率/增進穩定性
技術狀態可移轉技術

為了改善傳統的車牌辨識系統常遇到的問題:第一是當在複雜背景的環境下,車牌辨識的結果容易有誤偵測。第二是在影像是有較高的傾斜時,車牌無法辨識。第三在傳統的車牌辨識需要在良好的控制環境下,例如停車場,但是在開放的環境下就無法有較好的辨識結果。為了克服這些問題,我們使用了最新的深度學習技術,透過讓機器在不同環境下大量的學習,得到更好的辨識結果。首先我們使用一個深度學習的模型先定位出車牌,接著透過另一個深度學習的模型對車牌進行辨識。此技術在一般開放式環境下車牌辨識可高於98%以上,效能部分每秒約處理15張影像以上。

(a) 低解析影像

(b) 低對比影像

(c) 高傾斜影像

展示影片

系統規格:

(1) 系統平台:Window 7/8/10

(2) 開發工具:C/C++

(3) 硬體規格: PC

系統要求:

  • CPU: Intel® Core™ i3或更高階
  • Ram: 4GB以上
  • 顯示卡:NVIDIA® GeForce® GTX 650 或更高階

Details行動輔助機器人之力感測操控握把

英文名稱A force-sensing grip for manipulation of robot walking helper
技術編號M13-KYY-14-1
參與教授楊谷洋教授
應用產業醫療與照護產業
技術分類機器人
技術功效人機互動與輔助
技術狀態可移轉技術

本發明提供一種力感應握持裝置,係配置於一被動式行動輔具,力感應握持裝置包括至少一桿體、複數個蓋片及複數個力感測元件。桿體包含至少四安裝面,每一安裝面供至少四蓋片平行排列設置,利用每一蓋片之第二卡合部固定於安裝面之第一卡合部上,且安裝面與此些蓋片不接觸,每一力感測元件位於第一卡合部與第二卡合部之間,藉由使用者之手部握持並施力於此些蓋片上,些力感測元件係偵測手部的握力及握力分佈以產生對應之力感測參數,並將力感測參數傳送給一辨識控制模組以辨識一使用者意圖,進而依使用者意圖能更平順、更省力地操作被動式行動輔具。

行動輔助機器人 i-Go

力感測握把外觀

力感測握把內部

對應之手掌部位

圖一 行動輔助機器人 i-Go 及其力感測握把

系統規格:貼片式力感測器 (Flexi Force A201-25-8)

系統要求:可支援力感測器運算

已申請專利

Details三維實景環境中利用手勢簽名辨識做身份認證

英文名稱Idendity Authentication Using Gesture Signature Recognition in 3D Environments
技術編號M15-KCF-10-1
參與教授范國清教授
應用產業監控與保全業醫療與照護產業
技術分類影像偵測, 影像辨識, 影像追蹤, 深度感測資訊, 和 立體視覺
技術功效提升系統整合性, 提升系統智慧性, 和 操作方便/降低人工參與度
技術狀態可移轉技術

利用手勢作為智慧型裝置人機互動介面近來已漸漸普及於高階電子產品,至於利用手勢簽名作為身分認證機制目前國內外僅止於構想萌芽階段,尤其是中文手勢簽名辨識,由於中文字之獨特性與複雜性,其困難度遠高於其他手勢文字之簽名辨識。本技術中我們提出了一個3D 實景手勢簽名驗證系統,此3D 實景手勢簽名驗證系統以傳統CCD 攝影機為基礎,希望以最一般化的環境,達成人員在3D 實景手勢簽名後驗證是否為本人的目標。本項技術主要目標是3D 實景手勢簽名驗證系統,其主要組成模組包括手勢偵測、3D 實景手勢實虛筆特徵抽取與3D 實景手勢特徵空間轉換。

三維空中手寫簽名過程

系統規格:

  1. 系統平台: Window 7
  2. 開發工具: C/C++
  3. 硬體規格: PC Core i7, LeapMotion

 

系統要求:

  1. Intel Core 2 Q9400以上

Ram: 2GB以上

Details虛擬閘門

英文名稱Virtual Gate
技術編號X16-DTL-00-3
參與教授林道通教授
應用產業監控與保全業
技術分類影像偵測
技術功效提升系統整合性, 提升系統智慧性, 和 操作方便/降低人工參與度
技術狀態可移轉技術

居家安全和公共監控在日常生活中是必須且不可缺少的。通過監控影像的分 析,人 們可以針對特定的空間做控管,也可限制特定空間的進出情形。本研 究提出使用 虛擬閘門技術的智慧型影像監控系統來做移動物體檢測,在影像 監控時,虛擬閘門 可以取代人類的工作。在實際應用時是透過四通道的 NVR 來傳送連續影像,並且四 通道的影像可以同時運算。虛擬閘門的方法 是基於動量估計,會去檢測移動物體的 方向,並檢查他們是否通過虛擬閘 門。因此虛擬閘門不需要背景建模並且能夠在極 其複雜的情況下適用。在實 際應用時,光線的變化是需要考慮的,例如紅外攝影機 會自動切換到夜間模 式,或是在夜間,保全人員用利用手電筒巡邏。因此,根據上 述的問題,本 文提出一個新的方法,在照明條件大幅變化下,依舊可以正常的做移 動物體 檢測。

1.順向物件通過警報示意圖       2.反向通過示意圖

展示影片:

系統規格:

(1) 系統平台:Window 7 (2) 開發工具:C/C++ (3) 硬體規格:Intel I5

系統要求:

(1) Intel I5

Details海量影像資料庫智慧型影像自動追蹤系統

英文名稱Intelligent Video Automatic Tracking System in Big Data
技術編號X12-DTL-00-2
參與教授林道通教授
應用產業監控與保全業
技術分類影像偵測影像追蹤
技術功效可同時在多相機運作, 提升系統智慧性, 和 操作方便/降低人工參與度
技術狀態可移轉技術

為了安全問題,現今大多數的地方都有架設攝影機,當有狀況發生時, 可以調閱攝影機去回顧狀況發生前和追蹤狀況發生後,所留下的線索,以便 我們處理發生的狀況,但是有時候要是一段影像的錄製很久,卻沒有任何的 人事物經過的話,這樣會浪費掉很多時間而延後解決問題的效率,所以我們 要研發這項技術,利用視訊影像濃縮,可以將一段影像所發生的人事物在短 時間內顯示在畫面上。例如:長達一小時的影像,途中經過了 2 個人,他們 分別出現在 10 鐘和 30 分鐘,而我們經過這項技術的轉換後,讓他們兩個人 同時出現在同一畫面上,不需要從頭到尾去監看攝影機,浪費掉寶貴的時 間。可以利用這個機制,快速檢閱一段影像裡是否有我們需要的資訊,就是 這項技術研發的目的。

1.物件追蹤示意圖

系統規格:

(1) 系統平台:Window 7  (2) 開發工具:C/C++ (3) 硬體規格:Intel I5  系統要求:  (1) Intel I5

Details車輛環場監控於嵌入式系統

英文名稱Embedded System Implementation For Vehicle Around View Monitoring
技術編號M15-DTL-10-1
參與教授林道通教授
應用產業汽機車產業
技術分類嵌入式系統影像調整
技術功效具嵌入式解決方案, 可同時在多相機運作, 提升系統整合性, 擴大監控範圍, 和 降低成本
技術狀態可移轉技術

近幾年車輛安全月來越受到人們的重視,其中車輛智慧監控系統為近期發展 的重點。隨著各式各樣的監控系統技術逐漸成熟,人們將研究方向延伸到了 行車安全監控系統。在眾多車輛監控系統中,360 度環場影像監控為目前首 要發展目標。本研究提出了一個方法來建立 360 度環場鳥瞰監控系統;此方 法包含了魚眼攝影機支校正、鳥瞰視角轉換及環場影像縫合,並將此環場影 像監控系統移植至 Android 嵌入式系統因其具有低成本及攜帶性佳等特性。 為了增進系統計算效能,將前述過程結合成一個步驟並建立一個座標參照 表;並且利用多執行緒技術加速執行速度。經過硬體實作與實驗評估,我們 所提出的環車監控系統能滿意地達到 12fps 的即時影片輸出效能,並且平均 誤差率只有 2.89 像素。近年來,車輛安全監控技術正快速發展,本方法能夠 幫助駕駛人更清晰地了解車輛周圍環境,如此一來,某些因盲點導致的車輛 碰撞意外即可避免,舉例來說,一位駕駛在打開車門的同時並未發現有一輛機車正巧接近,而導致意外的發生。本文所提出的系統可以架設在車輛上以 避免碰撞意外的發生以降低行車事故發生率並提升交通安全性。

1.The 360◦ surrounding view result.

展示影片:

系統規格:

(1) 系統平台:Android (2) 開發工具:Java (3) 硬體規格: ARM Cortex-A9 系統要求: (1) Android 4.5 (2) ARM Cortex-A9

Details利用魚眼攝影機預測後方車輛路線及碰撞可能性

英文名稱Prediction of Approaching Vehicles to Blind Spots by Using a Rear-mounted Fisheye Camera
技術編號X16-DTL-00-1
參與教授林道通教授
應用產業汽機車產業
技術分類影像偵測, 影像行為分析, 影像辨識, 和 影像追蹤
技術功效增進自動化程度降低成本
技術狀態可移轉技術

駕駛在開車時需要一個安全及便利的開車環境。現代的車載安全系統已經有快速的進步也引起大眾的關注。而本研究提出的系統是從後置式的魚眼相機接收到實時的影像並且可以幫助駕駛避免許多危險的事件。研究顯示當駕駛開車時切換車道而發生的意外時常發生。因此本研究開發出用於預測車輛軌跡的系統提高駕駛的安全性。當事件或者是有風險時系統會提醒駕駛危險性。Adaboost 及 Kalman filter 被當成是系統主要的技術。他是可以預測接近盲點的車輛以防止駕駛切換車道時後方車輛碰撞的情況。

1.Prediction of vehicle

2.Warning for collision situation

展示影片:

 

系統規格:

  • 系統平台:Window 7
  • 開發工具:C/C++
  • 硬體規格:Intel I5

系統要求:

  • Intel I5
  • Ram: 4GB 以上

 

DetailsTag and Track長程人物追蹤比對技術

英文名稱Tag and Track for Long-term person tracking and re-identification
技術編號X17-YKW-00-1
參與教授王元凱教授
應用產業監控與保全業
技術分類影像辨識影像追蹤
技術功效可同時在多相機運作, 增進自動化程度, 提升系統整合性, 提升系統智慧性, 和 擴大監控範圍
技術狀態可移轉技術

由於近年政府與民眾對社會安全的重視,監控攝影機建置的數量以傳統人力管理、監控越來越不可行,因此有了智慧型視訊監控系統的誕生。

智慧型視訊監控系統是未來的方向,目的為管理大型監控網路,其實務上的挑戰包含不同環境下的物件偵測、環境複雜的多物件追蹤、跨攝影機多物件比對,以上挑戰屬於異質監控攝影機整合的挑戰。為了節省人力資源,挑戰也包含關鍵影格抽取。

本系統Tag and Track System(TnTs)屬於智慧型視訊監控系統的一種,由Person Detection、Multi-Object Tracking、Person Re-identification及Key Frame Extraction四個子系統組成,透過這四個子系統可解決上述的挑戰並達成對特定人物進行跨攝影機的追蹤並自動提供重點資訊。

圖(a)~(d)為跨攝影機追蹤。圖(a) 輸入影像。 (b)、(c)、(d)為跨攝影機追蹤結果。綠框為物件偵測結果,紅色數字為[camera id]_[person id]。

圖(e)~(g) 為關鍵影格抽取。藍框為物件偵測結果,綠框為臉部偵測結果,綠色數字為關鍵影格分數(範圍0~1)。

系統規格:

  • 系統平台:Ubuntu 14.04 LTS 64-bit
  • 開發工具:C/C++、Python 2.7、Matlab R2014b or later
  • 硬體規格:

Processor: Intel Xeon® CPU E5-1620 v2 @ 3.70GHz * 8

Memory: 60GB

Graphics: Nvidia Tesla K20

 

系統要求:

Cuda 7.5、cuDNN V3 and V4、OpenCV 3.2、Caffe。

Details街道實景路跑系統

英文名稱A Virtual Running System Using Street Scene of Google Map
技術編號X17-CCC-00-1
參與教授江政杰教授
應用產業影視娛樂, 虛擬實境與擴增實境, 和 運動健身產業
技術分類Kinect 辨識跑步動作, 影像辨識, 和 虛擬實境
技術功效提升系統整合性
技術狀態可移轉技術

運動是維持健康生活重要的方法,但是我們總找得到各種不同的理由不運動,例如天候因素、時間或空間的限制、甚至是空氣污染,都會阻礙人們在忙碌生活中特別抽出時間運動的決心。我們設計一套實境路跑系統,讓使用者在室內跑步時可直接顯示Google Map上的街景畫面,增加室內原地跑步運動的樂趣。本系統包含三個主要部分:一是微軟公司所開發的Kinect系統負責偵測使用者的跑步動作、二是根據跑者速度顯示並移動Google Map上跑步路徑的街景畫面、以及三是蒐集世界上有名的路跑軌跡資料庫。系統運作時並不需要跑步機的配合,使用者只需在Kinect能偵測的有效範圍內原地跑步,在Kinect確認每個跑步動作時,即呼叫Google Map API以顯示使用者預先挑選的跑步軌跡街景。藉由本系統的協助,使用者可在室內很方便的進行跑步運動,同時觀看世界各地的街道實景以增加路跑的臨場感。

圖一、系統操作場景。使用者在Kinect能偵測的有效範圍內跑步,系統會偵測跑步速度後,調整Google Map街景畫面移動速度,沿著事前定義的跑步軌跡移動街景畫面

圖二、跑步時街景與對應的地圖畫面

圖三、系統蒐集世界各地的路跑GPS軌跡,圖中顯示的是日本琵琶湖段

系統規格:

(1). 系統平台:Windows 7

(2). 開發工具:C#、JavaScript、MS SQL Server

(3). 特殊硬體需求:微軟Kinect 系統

 

系統要求:

(1). 一般PC即可

Details使用極值特徵映射之深度CNN人臉辨識系統

英文名稱Face Recognition System Using Extremal-Feature-Map Deep CNN
技術編號O17-SWS-10-1
參與教授石勝文教授
應用產業監控與保全業
技術分類影像辨識
技術功效降低錯誤率/增進穩定性
技術狀態可移轉技術

這個人臉辨識系統包含人臉偵測、定位、特徵抽取與比對等四個步驟,其中人臉的偵測與定位是基於現成的方法,經修改後得到更快的計算速度與精確度。特徵抽取部份是使用深度學習技術,我們提出使用極值特徵映射作為CNN中的非線性函數,並引入殘值網路 (ResNet),發展出一個總參數量僅有八百多萬的深度類神經網路。經使用包含一百餘萬張、約二萬的人臉影像訓練,可抽取256維的人臉特徵向量。在用於LFW人臉資料庫測試中,由人臉偵測、定位、特徵抽取到辨識,可逹到98%的正確率。

用於人臉特徵抽取之DNN架構

系統規格:

Ubuntu

nVidia Graphic Card (Compute Capability >= 2.0)

系統要求:

Intel i5 或 i7

 

Details加強立體視覺融合的深度轉換系統

英文名稱Depth transform system for stereo vision fusing
技術編號C17-TSC-21-1
參與教授張添烜
應用產業影視娛樂虛擬實境與擴增實境
技術分類深度感測資訊, 立體視覺, 和 虛擬實境
技術狀態可移轉技術

為了提高3D電視和VR系統的3D視覺舒適度,我們提出了ROI(興趣區域)作為視覺焦點,並根據每個像素與ROI之間的相對深度進行非線性視差值轉換。 又為了減少融合和住宿衝突,我們還在立體圖像合成部分中產生不同的結果隨著不同的ROI。 此方法有效降低人眼負荷,減少重影效果。

本技術已申請專利

 

 

Details無人機自動運動員追蹤系統

英文名稱An UAV Autopilot System for Sports Player Tracking
技術編號M17-KWC-25-1
參與教授陳冠文教授
所屬計畫視訊安全監控與應變系統---三維通信網路技術及其在智慧校園之應用(大產學聯盟)(I)分項計畫 ( 2016/10~ )
應用產業影視娛樂, 無人飛行器, 和 監控與保全業
技術分類影像偵測, 影像辨識, 和 影像追蹤
技術功效增進自動化程度, 提升系統整合性, 和 擴大監控範圍
技術狀態可移轉技術

現在許多運動相關的活動,都藉由大眾媒體的傳播而越來越發達,也使民眾的參與度越來越高。舉凡各種球類比賽,或是長距離的路跑、自行車、馬拉松等等的活動,目前都還是依賴人力操作拍攝轉播。例如在公路自行車競賽中,需要有工作人員駕駛摩托車或汽車在選手旁跟隨拍攝或是監控選手,卻也容易因此與選手發生觸碰擦撞等意外。因此,本研究希望可以開發具有追蹤運動員的無人機,除了可以在高空監控追蹤,也可以節省不少的人力成本或是不必要的擦撞意外發生。藉由整合影像偵測辨識(文字偵測辨識、行人偵測、行人追蹤)以及無人機自動控制,期未來能做到拍攝運動員、監控記錄賽事、協助公平裁判等事情。

所提出之無人機運動員自動追蹤系統。藉由影像分析技術,自動估測無人機與目標物之距離,以達成無人機之自動追蹤控制。

展示影片:

Details視覺定位技術

英文名稱Vision-Based Positioning
技術編號O16-KWC-10-1
參與教授陳冠文教授
應用產業無人飛行器, 監控與保全業, 和 虛擬實境與擴增實境
技術分類三維定位三維重建
技術功效提升天候變化容忍度, 降低成本, 和 降低錯誤率/增進穩定性
技術狀態可移轉技術

隨著可移動式攝影機(如:穿戴式攝影機、無人機、無人車、智慧眼鏡等)愈來愈多,如何去進行這些裝置的精準定位也日漸重要。針對此問題,我們提出一基於事先建立環境模型的攝影機定位技術。為減少計算、存取及傳輸需求,我們將模型壓縮問題,轉換為一weighted k-cover problem,透過此演算法,本技術已可達90%的壓縮率。同時,為了有效克服戶外環境改變,所造成影像比對上的問題,本技術也提出一模型更新演算法,可有效適應環境光線改變。實驗結果顯示,所提出之方法於戶外真實環境下,可達30公分左右的精準定位。

圖. (a) 使用者拿著手機進行錄影. (b) 定位實驗結果. 右下: 從手機錄得之影像; 左下: 從另一台攝影機拍攝之第三人稱視角影像 (未處理, 僅提供比對); 左上: 由手機取得影像之定位結果。

展示影片:

Details基於重複收縮與聚合之階層式影像分割

英文名稱Hierarchical Image Segmentation based on Iterative Contraction and Merging
技術編號M17-SJW-16-1
參與教授王聖智教授
應用產業汽機車產業, 監控與保全業, 和 醫療與照護產業
技術分類影像分割Image Segmentation
技術功效增進計算效能/執行速度降低錯誤率/增進穩定性
技術狀態可移轉技術

在本技術中,我們提出一種基於重複收縮與聚合程序的階層式影像分割的新框架。在提出的框架中,我們將階層式影像分割的問題視為最佳化問題的後續結果,每個最佳化過程都是通過收縮與聚合程序來實現,此過程將會識別並合併當前最相似的數據對。一開始,我們基於像素的收縮與合併,將圖像像素視覺上無法區分內部顏色差異的區域快速的組合成初始區域元素。之後,我們重複地執行基於區域的收縮與合併將相鄰區域逐步地合成較大的區域形成階層式的分割樹。與目前最先進地技術相比,提出來的演算法不儘可以以更有效的方式產生高質量的分割結果,而且還可以在分割結果中保留很多邊界細節。

圖ㄧ、重複收縮與聚合的抽樣結果更有效的方式產生高質量的分割結果,而且還可以在分割結果中保留很多邊界細節。

展示影片:

系統規格:

(1) 系統平台 : Window or Linux

(2) 開發工具 : Matlab & C/C++

系統要求:

(2) Ram: 2GB以上

 

Details二乘二排列Kinect v2攝影機合成廣角度虛擬視點視訊

英文名稱Wide Angle Virtual View Synthesis using Two-by-Two Kinect V2
技術編號C16-HMH-22-1
參與教授杭學鳴教授
所屬計畫智慧型情境系統建構之高階繪圖、3D視訊與雲端儲存基礎技術研發計畫(2013~)
應用產業影視娛樂虛擬實境與擴增實境
技術分類影像強化, 影像調整, 深度感測資訊, 立體視覺, 背景重建, 和 虛擬實境
技術功效可同時在多相機運作, 提升系統整合性, 和 提高合成影像品質
技術狀態可移轉技術

傳統的虛擬視點合成演算法在過去十年間被廣泛的研究。然而,在視訊合成應用上會需要合成基線以外的虛擬視點資訊,而這種合成方法又稱為廣角虛擬視點合成。廣角虛擬視點合成經常會產生許多裂縫、大遮蔽區域於合成的虛擬視點。因此我們提出一個廣角虛擬視點合成系統基於實際拍攝到的多個彩色影像與深度圖。 本研究使用四台Kinect v2攝影機以二乘二排列的架構並整合了由我們的同事所開發的兩個必要步驟來組成一個完整且實際的系統。本研究額外提出兩個方法,第一個是我們提出多視點融合演算法就算映射後的影像有瑕疵,仍能有效改善合成的影像品質。運用四台RGB-D攝影機進行參考視點的拍攝,使我們有足夠的資訊來決定不正確的映射像素,並從其他張映射圖選取正確的像素修補之。由於Kinect沒有提供多台Kinect拍攝用的硬體同步訊號,因此我們提出的第二個方法是解決多台Kinect之間不同步拍攝的問題。為了方便起見,我們實現一個時脈調整系統基於PC時脈同步軟體。我們觀察虛擬視點在不同的傾斜、縮放情況下的合成品質。實驗結果顯示,我們所提出的多視點融合演算法運用於實際使用四台Kinect拍到的資訊,主觀上有不錯的合成品質。就我們所知,我們所提出的系統是第一個使用四台RGB-D攝影機架構運用於廣角虛擬視點合成。

圖1.實驗環境

圖2. 完整系統流程

圖3. 虛擬視點相機與真實相機位置關係圖(虛擬視點相機5度向下傾斜,並有100mm相機放大)

 圖4. 合成影像比較(虛擬視點相機5度向下傾斜,並有100mm相機放大) 左半:前一年本實驗室成果[1](只能用兩個相機);右半:本技術產生的成果(四個相機)。

 

系統規格:
四台Kinect v2攝影機+四台PC
Windows 7
Kinect v2 SDK
系統要求:
同上,PC+16G RAM

Details應用2.5D水流模擬於圖片動畫化

英文名稱Animating Images Using 2.5D Water Flow Simulation
技術編號C17-SKW-13-1
參與教授黃世強
所屬計畫智慧型情境系統建構之高階繪圖、3D視訊與雲端儲存基礎技術研發計畫(2013~)
應用產業影視娛樂
技術分類圖片動畫化
技術功效即時逼真模擬
技術狀態可移轉技術

我們發展一個程序化的2.5D水流模擬技術,可以應用於圖片動畫化。對於給定的圖片,我們將其轉換為2.5D 結構,然後對2.5D結構進行水模擬(如淺浮雕雕塑)。我們的方法分為三個階段:圖片處理,水模擬和渲染。首先,我們提取圖片中的對象,並基於圖像處理技術,計算其2.5D 結構。在第二階段,採用基於程序的方法,模擬2.5D結構上的水流。最後,我們應用一個簡單的光線追踪器渲染最終的結果。我們的方法可以實時地模擬水,並且模擬的水自然地在2.5D結構上流動。

2.5D水流模擬結果

展示影片:

系統規格:硬體: GeForce GTX 550 Ti (或以上)

Details基於智慧眼鏡之自我中心測距/指向系統

英文名稱Egocentric Ranging/Pointing System Based on Smart Glasses
技術編號M16-JHC-11-1
參與教授莊仁輝
應用產業影視娛樂, 教育應用, 虛擬實境與擴增實境, 醫療與照護產業, 和 雲端系統與物聯網應用
技術分類人機介面, 擴增實境, 和 深度感測資訊
技術功效增進人機互動功能, 提升系統整合性, 和 提升系統智慧性
技術狀態可移轉技術

本系統為一種基於智慧眼鏡之自我中心(第一人稱視角)測距/指向系統,此一智慧眼鏡需具備前置式攝影機與光學顯示裝置等模組。對於一個指向目標,測距/指向演算法是基於一條由相機-人眼極線幾何關係建構出的距離-像素曲線所延伸開發。此外,一個估測人眼指向點的平面指向系統也可經由額外建構出另外一條沿著同一條極線方向的距離-像素曲線所開發出來。

當使用者對著目標進行指向時(如Side recording),系統會取得攝影機影像(如View of camera),並且利用極線幾何關係在影像中找出人眼指向點。接著可由螢幕或是光學顯示裝置顯示出目標物的擴增實境(AR)資訊(如Output display)。

此技術已獲得專利。

展示影片:

系統規格:

作業系統:Windows 7 & OpenCV, Android

開發工具:C++, Android Studio

系統要求:

具前置式攝影機、光學顯示裝置與無線傳輸功能(或足夠計算能力)等模組之智慧眼鏡

Details多攝影機人物定位與追蹤

英文名稱People Localization and Tracking using Multiple Cameras
技術編號C16-JHC-32-1
參與教授莊仁輝
所屬計畫智慧型情境系統建構之高階繪圖、3D視訊與雲端儲存基礎技術研發計畫(2013~)
應用產業監控與保全業
技術分類影像偵測影像追蹤
技術功效增進自動化程度, 提升系統整合性, 和 提升系統智慧性
技術狀態可移轉技術

在進階的視訊監控中,人物定位通常是一個模組,它的回應速度應該要很快,才可以提供更多的時間與資源進行後續的分析。像是異常行為分析,入侵者分析等…。因此,人物定位準確度與計算效能顯得十分重要。我們的方法提供基於消失點取樣的技術,提供快速多攝影機的人物定位,有效的解決即時運算效能問題與多人物場景下人物互相遮蔽的問題,達到高準確度。

(a)前景區域與2D line samples (紅色線段),(b)人物3D主軸定位結果,(c)人物定位3D bounding box結果。

系統規格:

作業系統:Windows 7 & OpenCV

開發工具:C++

硬體規格:Core 2

系統要求:

3隻以上的影像輸入(Webcam/IPcam)

Ram 2G以上

Details監控影像縮時呈現

英文名稱Surveillance Video Synopsis
技術編號M15-HTC-20-2
參與教授陳華總研究員
應用產業監控與保全業
技術分類影像縮時呈現影像追蹤
技術功效操作方便/降低人工參與度
技術狀態可移轉技術

影像監控系統的使用現已相當普遍,然而,大量的監控影片若未經處理,後續的瀏覽及異常事件追蹤將非常耗時。因此我們提出一基於軌跡分群之監控影像縮時技術,具有以下三大優點:(1)將相似的軌跡事件同時呈現使畫面簡潔而易於檢視與追蹤;(2)異常事件的軌跡篩選能夠簡化每個軌跡分群的內容,同時能夠分辨出可能需要警告的異常目標;(3)分群後的結果能夠有效率地搜尋特定目標。本技術在一般監控環境下,軌跡分群之準確率約為90%以上,並可達70%以上之資料精簡率。

     

(a)                                            (b)

      

(c)                                             (d)

圖 (a)監控影片人物移動軌跡追蹤。(b)軌跡起終點分群。(c)原始監控影片畫面。(d)影片縮時呈現,讓監控區域內進出的人物如排隊般顯示於畫面中,以加快影片瀏覽效率。

展示影片:

系統規格:

(1) 系統平台:Windows

(2) 開發工具:C/C++, OpenCV

(3) 硬體規格:PC, Notebook

(4) 影像擷取介面:Direct-X

 

系統要求:

(1) Intel Core i3 以上

(2) Ram: 4 GB以上

Details基於行車影像分析之路不平偵側

英文名稱Road Bump Detection Using Driving Video Recorder
技術編號M14-HTC30-1
參與教授陳華總研究員
應用產業汽機車產業
技術分類影像偵測
技術功效操作方便/降低人工參與度降低成本
技術狀態可移轉技術

行車記錄器已日漸普及,相信在不久之後將會成為車輛必備裝置。行車記錄器因其遍布性與移動性,非常適用於道路表面狀況的監控。因此,我們提出一基於行車記錄器影片分析之路不平偵測技術,並透過叢集計算以減低影像雜訊等因素造成之誤判。搭配GPS資料,將可於地圖上標註所偵測到之不平路段。此資訊可提供公路局或相關單位修補路面之參考,亦可提醒用路人通過該路段時應小心駕駛。此技術在一般光線環境下,路不平偵側準確率可高於80%以上,效能部分每秒可處理超過300張解析度為960´ 480之影像。

     

(a)                                                (b)

圖(a)分析行車記錄器影像以偵測車輛震動。(b)依所偵測之車輛震動幅度於地圖上標示不同之「路不平」記號。

 

系統規格:

(1) 系統平台:Windows

(2) 開發工具:C/C++, OpenCV

(3) 硬體規格:PC, Notebook

(4) 影像擷取介面:Direct-X

 

系統要求:

(1) Intel Core i3 以上

(2) Ram: 4 GB以上

(3) 行車記錄器

Details基於行車記錄器之街景圖建構

英文名稱Street View Image Generation Using Driving Video Recorder
技術編號M15-HTC-20-1
參與教授陳華總研究員
應用產業汽機車產業
技術分類影像檢索
技術功效操作方便/降低人工參與度
技術狀態可移轉技術

「行車記錄器」為近年來車輛必備裝置,其主要用途是當事故發生之時,可以提供釐清肇事責任之影片證據。此外,駕駛過程中路途上所遭遇的各種人事物亦將記錄於影片之中,所以當有危安事件發生之時,警政單位常會需要收集事發當日有經過該路段附近之行車紀錄器影片以進行調查。然而,因資料量龐大,如未經整理,將需耗費大量人力與時間去檢視每部影片,以找出相關片段。因此,我們提出一研究架構並實作一快速索引系統,利用分析行車記錄器所拍攝之影片建構出沿途所經過之街景圖,並與影片內容建立連結,如此一來,不須看完整部影片,使用者即可迅速地瀏覽街景圖,從中選取所要檢視的片段。相信這套系統將可以有效加速影片審視與危安事件調查之速度。效能部分每秒約可處理超過400張解析度640´360之影像。

      

(a)                                      (b)

(c)

圖(a)行車記錄器影片畫面。(b)從行車記錄器影片所產生之畫面動向分析圖,用以估算畫面移動速度。(c)所產生之街景圖影像供使用者快速瀏覽沿途所經過的街景,使用者亦可點選街景圖影像連結回原始行車記錄器影片中經過該路段的片段。

本技術已獲得專利。

系統規格:

(1) 系統平台:Windows

(2) 開發工具:C/C++, OpenCV

(3) 硬體規格:PC, Notebook

(4) 影像擷取介面:Direct-X

 

系統要求:

(1) Intel Core i3 以上

(2) Ram: 4 GB以上

(3) 行車記錄器

Details高爾夫揮桿訓練系統

英文名稱Golf Swing Training System
技術編號M15-HTC-14-1
參與教授陳華總研究員
應用產業教育應用
技術分類影像偵測擴增實境
技術功效操作方便/降低人工參與度降低成本
技術狀態可移轉技術

技術內容

在運動健身的學習過程中,「自我訓練」扮演著相當重要的角色。然而,若沒有教練的指導之下自行練習,很容易因為姿勢不良而進步有限,甚至造成身體傷害。因此我們利用電腦視覺技術分析使用者揮桿姿勢,先計算身體輪廓與骨架,用以產生頭部、臀部、脊椎等部分的特徵線。接著再導入高爾夫球的訓練知識,利用自動產生的輔助線來判斷姿勢的正確性,並提供視覺化及聲音的矯正指示,告知使用者調整姿勢。此外,我們也在智慧眼鏡上面實作,偵測到的特徵線及如何修正姿勢的資訊將傳送至智慧眼鏡,讓使用者能夠立即調整自己的動作。此技術在一般的光線環境下,頭部及臀部特徵線偵測的準確率可達90%以上,脊椎特徵線偵測準確率也有85%上。效能部分,影像解析度在640´360與960´540的情況下可達即時計算的效果,每秒分別可處理約55張及30張影像。

(a)

(b)

圖(a)高爾夫球揮桿訓練系統架構。(b)揮桿時偵測頭部、臀部、脊椎等身體特徵線。

展示影片:

系統規格:
(1) 系統平台:Windows  系統規格:

(2) 開發工具:C/C++, OpenCV

(3) 硬體規格:PC, Notebook

(4) 影像擷取介面:Direct-X

 

系統要求:

(1) Intel Core i3 以上

(2) Ram: 4GB以上

(3) Webcam

(4) 智慧眼鏡 (optional)

Details可抗干擾之攝影機異常偵測技術

英文名稱Camera Anomaly Detection against Interference
技術編號B09-YKW-22-1
參與教授王元凱教授
應用產業監控與保全業
技術分類影像偵測

本演算法提供一個視訊攝影機異常偵測技術,可自動確認影像品質與監控視野之正確性。本技術首先於監控畫面中,建立關注區域,其後分析關注區域內之特徵變化量,當影像品質下降或是視野改變,可偵測警戒為異常事件。關注區域是經由全影像於時間軸上,統計像素變異量,並以馬可夫隨機廠建模以自動切割出此區域,當關注區域獲得後,與此空間域上大量降低特徵值,取得特徵向量,在時域上累積特徵向量之變化量,以判斷異常事件,而大量的維度降低造成的雜訊影響再以Kalman濾波,如此可使用非常低之運算量處理單之攝影機。實驗中我們採用大量的異常狀況實驗影片,以及無事件但具挑戰之片段(例如:地震、大物件經過),證實我們的方法具有高偵測率與低假警報率,較其他方法,也更能適用於真實世界。

Details手勢人機介面技術

英文名稱Human Computer Interaction with Gesture Recognition
技術編號Ⅲ05-CCL-31-1
參與教授連振昌教授
所屬計畫VBIE 以視覺為基礎之智慧型環境的建構四年計畫第二期(2008/11~2012/10)
應用產業醫療與照護產業
技術分類影像辨識背景重建
技術功效提升系統整合性操作方便/降低人工參與度
技術狀態可移轉技術

手勢人機界面技術藉由即時辨識使用者所發出之特定手勢,與居家或照護環境達到互動之功能。

技術功能如下:

  • 智慧型居家環境的界面:以手勢操控冷氣、電視及電燈開關等。
  • 互動居家照護環境的界面:允許行動不便的人可以操控周邊電器或病床。
  • 當指令訊息傳送至居家照顧系統時,能立即監看即時影像及接收影像檔案。

Details夜間自動車定位,導航與快速定位誤差分析

英文名稱Rapid Error Analysis of Planar Localization for Automatic Night Navigation
技術編號Ⅰ08-JHC-12-1
參與教授莊仁輝教授
所屬計畫VBIE 以視覺為基礎之智慧型環境的建構四年計畫第二期(2008/11~2012/10)
應用產業監控與保全業醫療與照護產業
技術分類影像偵測
技術功效擴大監控範圍
技術狀態可移轉技術
  • 在夜間無照明環境中,利用自動車與紅外線攝影機,進行安全巡邏與監控
  • 針對保全區域,自動且無休地進行夜間安全巡邏
  • 利用電腦視覺定位技術,可動態修正自動車之機械定位誤差
  • 快速估計出影像上,不同特徵點發生擾動,對自動車定位精確度的影響
  • 自動而即時的選擇適當特徵點組合,進行定位計算,以增進自動車定位的精確度

Details基於紅外線熱影像之體溫量測技術

英文名稱Remote Body Temperature Measurement Using Thermal Infrared Imaging
技術編號Ⅰ07-JHC-12-1
參與教授莊仁輝教授
所屬計畫VBIE 以視覺為基礎之智慧型環境的建構四年計畫第二期(2008/11~2012/10)
應用產業監控與保全業醫療與照護產業
技術分類影像偵測
技術功效提升系統智慧性操作方便/降低人工參與度
技術狀態可移轉技術
  • 將紅外線熱影像,依不同的環境參數設定,以擷取相對應的溫度資訊。
  • 將紅外線熱影像,依待測物體性質的不同,以擷取相對應的溫度資訊。
  • 透過影像處理的技術,動態鎖定高溫區域,偵測溫度異常狀況。
  • 自動記錄人員/物體溫度資料,記數、篩選溫度異常的資訊。

Details利用紅外線影像之視覺監控

英文名稱Visual Surveillance Using Infrared Imaging
技術編號Ⅰ06-JHC-12-1
參與教授莊仁輝教授
所屬計畫VBIE 以視覺為基礎之智慧型環境的建構四年計畫第二期(2008/11~2012/10)
應用產業監控與保全業醫療與照護產業
技術分類影像偵測
技術功效提升系統智慧性, 操作方便/降低人工參與度, 和 擴大監控範圍
技術狀態可移轉技術

透過區域生長為基礎的即時人體切割方法,以提供安全監控方面的應用。

所提出的方法是以溫度分布為基礎,偵測出完整的高溫區域,因此不需要建構場景的背景模型就能夠有效且快速地偵測出入侵者。