國立交通大學 NCTU

即時人體上半身姿態辨識與肢體動作捕捉

2016/12/26
技術編號A11-CLH-13-2
參與教授黃仲陵教授
所屬計畫VBIE 以視覺為基礎之智慧型環境的建構四年計畫第二期(2008/11~2012/10)
應用產業虛擬實境與擴增實境
技術分類影像辨識
技術功效操作方便/降低人工參與度
技術狀態可移轉技術

技術內容說明 :
我們計劃利用 kinect 的深度影像開發出一個即時的人體動作捕捉系統,並且能夠針對更 複雜的肢體動作如蹲下、彎腰、甚至有如瑜珈動作等等的關節參數加以辨識。目前,在 patch 的 shape context 上比較輸入影像與資料庫中的人體輪廓相似度已經有不錯的效果,爾後對於深度資訊能夠開發出能更有效地即時辨識相似度的演算法後,相信對於人體動作捕捉的精準度 與強健性都能有相當的提升。人體上每個像素都有對應的部位類別後,我們可以單獨的看屬於某個部位(例如說頭部) 的像素點分布,這些像素分布會有一些雜訊,也就是會有一些離群的像素點在較遠的位置,我 們要將其去掉。在此我們使用了一個簡單的 Connected-component labeling 演算法,找到連 通的像素中點數最多的那一群,其他不屬於此群的像素點都將它們去掉。剩下的這一群像素點 的平均中心位置,便是對這個身體部份的估計中心位置。

軟體系統摘述 :
整個系統分成兩大部份,前半部是動作辨識,後半部是人體部位辨識。下圖為系統流程圖:

系統規格 :
(1) 系統平台:Window 7
(2) 開發工具:Visual C/C++
(3) 硬體規格: PC i5 4 core
(4) 影像擷取介面:Kinect

系統功能 :
(1) 可以偵測人物上半身骨架。
(2) 一般姿勢正確率可達 96%。

系統要求 :
(1) Intel i5 (4核)以上
(2) Ram: 4GB以上