發(fā)布時間：2020-10-20 00:22

　　 隨著計算機技術的飛速發(fā)展,人機交互逐漸朝著自然用戶界面發(fā)展,自然用戶界面即用戶用最基礎、最常見的交流方式,如表情、手勢動作、語言等與計算機進行交互。其中對人體手勢動作的運用目前獲得研究者廣泛關注并正在迅速發(fā)展。早期的計算機視覺系統(tǒng)都是基于彩色RGB圖像,彩色RGB圖對光照條件要求苛刻,處理效率低并且效果不佳。深度圖則是近些年發(fā)展迅速的一種圖像表征方法,由深度傳感器采集獲取。飛行時間(Time Of Light,TOF)技術的原理是深度傳感器將近紅外光調(diào)制后主動發(fā)出,遇到物體后反射,通過計算反射和發(fā)射時間差或相位差來得到被拍攝物體的距離信息。傳統(tǒng)廣告媒體屏只能完成簡單的傳播信息功能,無法與用戶進行雙向性的互動,只能單向、被動地接受信息,缺乏交互性。為了滿足各種場景下的交互需求,本文基于ESPROS公司研發(fā)的EPC660 TOF傳感器設計了一套廣告媒體屏交互系統(tǒng),包括手勢交互模塊,遠程交互模塊以及觸摸交互模塊。手勢交互模塊能夠識別5種靜態(tài)手勢,發(fā)送手勢指令控制廣告媒體屏,遠程交互模塊能夠遠程控制廣告媒體屏,觸摸交互模塊能夠通過觸摸屏控制廣告媒體屏。本文首先簡要介紹人機交互技術及TOF傳感器的發(fā)展現(xiàn)狀,分析廣告媒體屏的功能需求。按照功能需求給出軟、硬件總體設計,針對軟件各模塊,介紹其技術背景。接著研究基于深度圖像的手勢識別方法,將手指數(shù)量特征和中心距離特征融合作為特征向量,采用基于帶權值的模板匹配法對手勢分類識別。最后介紹了交互系統(tǒng)設計及實現(xiàn),并對系統(tǒng)功能進行測試和總結。
【學位單位】：大連理工大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP391.41;TP212
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 手勢識別技術國內(nèi)外發(fā)展現(xiàn)狀
        1.2.2 TOF傳感器技術發(fā)展現(xiàn)狀
    1.3 本文的工作內(nèi)容
2 系統(tǒng)總體設計及相關技術介紹
    2.1 系統(tǒng)硬件及軟件總體設計
    2.2 EPC660TOF傳感器深度圖像獲取
        2.2.1 EPC660TOF傳感器簡介
        2.2.2 EPC660TOF傳感器的基本測量原理
        2.2.3 EPC660TOF傳感器測量模式
        2.2.4 EPC660TOF傳感器測量流程及誤差分析
    2.3 手勢識別模塊相關技術
        2.3.1 手勢圖像濾波
        2.3.2 手勢分類方法
    2.4 遠程交互模塊相關技術
        2.4.1 MQTT協(xié)議簡介
        2.4.2 MQTT協(xié)議消息格式
        2.4.3 阿里云物聯(lián)網(wǎng)套件
    2.5 觸摸屏交互模塊相關技術
        2.5.1 嵌入式圖形界面開發(fā)工具Qt簡介
        2.5.2 Qt信號和槽機制
    2.6 播放模塊相關技術
        2.6.1 基于Gstreamer管道的媒體播放
        2.6.2 基于FFmpeg的視頻幀讀取
    2.7 本章小結
3 基于TOF傳感器的手勢識別
    3.1 手勢的定義
    3.2 手部區(qū)域分割
        3.2.1 深度直方圖
        3.2.2 計算最佳分割閾值
        3.2.3 手部區(qū)域分割
    3.3 手勢圖像預處理
    3.4 手勢特征提取
        3.4.1 手掌中心定位
        3.4.2 中心距離特征
        3.4.3 K-Curvature指尖檢測算法
        3.4.4 基于凸包的指尖檢測算法
    3.5 基于帶權值模板匹配的手勢分類識別
    3.6 本章小結
4 廣告媒體屏各交互模塊設計及實現(xiàn)
    4.1 手勢識別模塊設計與實現(xiàn)
        4.1.1 深度數(shù)據(jù)獲取和顯示
        4.1.2 手勢識別及控制信息發(fā)送
    4.2 遠程交互模塊設計與實現(xiàn)
        4.2.1 基于MQTT協(xié)議的遠程交互設計
        4.2.2 基于MQTT協(xié)議的遠程交互客戶端實現(xiàn)
    4.3 播放模塊設計與實現(xiàn)
        4.3.1 基于Gstreamer管道的媒體播放
        4.3.2 基于GPS授時的多屏同步互動方案設計
        4.3.3 基于UDP的控制消息通信協(xié)議設計
    4.4 觸摸屏交互模塊設計與實現(xiàn)
    4.5 本章小結
5 廣告媒體屏交互軟件測試
    5.1 系統(tǒng)測試環(huán)境
    5.2 播放模塊和觸摸屏交互模塊測試
    5.3 遠程交互模塊測試
    5.4 手勢識別模塊測試
        5.4.1 不同條件下手勢識別測試
        5.4.2 手勢控制功能測試
    5.5 本章小結
結論
參考文獻
攻讀碩士學位期間發(fā)表學術論文情況
致謝

【參考文獻】

相關期刊論文 前10條

1 呂蕾;張金玲;朱英杰;劉弘;;一種基于數(shù)據(jù)手套的靜態(tài)手勢識別方法[J];計算機輔助設計與圖形學學報;2015年12期

2 沈晴;班曉娟;常征;郭靖;;基于視頻的人機交互中動作在線發(fā)現(xiàn)與時域分割[J];計算機學報;2015年12期

3 楊凱;魏本征;任曉強;王慶祥;劉懷輝;;基于深度圖像的人體運動姿態(tài)跟蹤和識別算法[J];數(shù)據(jù)采集與處理;2015年05期

4 樊星;趙菁華;;用戶界面與人機交互標準化綜述[J];信息技術與標準化;2015年04期

5 李吉;顧德;劉飛;;基于Kinect深度信息的手指及手部跟蹤研究[J];計算機應用與軟件;2015年03期

6 李東潔;李君祥;張越;曾禛;;基于PSO改進的BP神經(jīng)網(wǎng)絡數(shù)據(jù)手套手勢識別[J];電機與控制學報;2014年08期

7 尹章芹;顧國華;陳錢;錢惟賢;;三維深度圖像在自動客流計數(shù)系統(tǒng)中的應用[J];中國激光;2014年06期

8 王昱;;基于ExtJS的JSON數(shù)據(jù)交換格式研究[J];現(xiàn)代計算機(專業(yè)版);2013年03期

9 楊波;宋曉娜;馮志全;郝曉艷;;復雜背景下基于空間分布特征的手勢識別算法[J];計算機輔助設計與圖形學學報;2010年10期

10 吳小艷,王維慶,楊春祥,何山,王小龍;幾種基于模板匹配法的數(shù)字圖像識別算法分析[J];計量技術;2005年06期

相關博士學位論文 前1條

1 李興東;基于TOF相機的四足機器人地形感知及靜步態(tài)規(guī)劃研究[D];哈爾濱工業(yè)大學;2015年

相關碩士學位論文 前9條

1 張瑩瑩;基于Kinect的大屏幕手勢互動系統(tǒng)研究與實現(xiàn)[D];安徽大學;2017年

2 肖瑤;基于TOF相機的環(huán)境智能探測技術研究[D];北京交通大學;2016年

3 姜克;基于深度圖像的3D手勢識別[D];江南大學;2015年

4 龔亞非;基于編碼結構光的三維重建系統(tǒng)研究[D];長安大學;2014年

5 崔小偉;深度圖像濾波及超分辨率重建算法研究[D];合肥工業(yè)大學;2014年

6 關慶余;基于MQTT協(xié)議的移動社交網(wǎng)絡客戶端的設計與實現(xiàn)[D];中國科學院研究生院（沈陽計算技術研究所）;2014年

7 屈燕琴;基于深度圖像的手勢識別與靈巧手交互[D];上海大學;2014年

8 楊競爭;基于Qt的車燈控制檢測系統(tǒng)[D];華中科技大學;2013年

9 周剛;基于Gstreamer的流媒體視頻服務器的研究與實現(xiàn)[D];西安電子科技大學;2012年

本文編號：2847922