傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(CNN)只適用于灰度圖像或彩色圖像分通道的特征提取,忽視了通道間的空間依賴性,破壞了真實環(huán)境的顏色特征,從而影響人體行為識別的準(zhǔn)確率。為了解決上述問題,提出一種基于四元數(shù)時空卷積神經(jīng)網(wǎng)絡(luò)(QST-CNN)的人體行為識別方法。首先,采用碼本算法預(yù)處理樣本集所有圖像,提取圖像中人體運動的關(guān)鍵區(qū)域;然后將彩色圖像的四元數(shù)矩陣形式作為網(wǎng)絡(luò)的輸入,并將CNN的空間卷積層擴展為四元數(shù)空間卷積層,將彩色圖像的紅、綠、藍(lán)通道看作一個整體進行動作空間特征的提取,并在時間卷積層提取相鄰幀的動態(tài)信息;最后,比較QST-CNN、灰度單通道CNN(Gray-CNN)和RGB 3通道CNN(3Channel-CNN)3種方法的識別率。實驗結(jié)果表明,所提方法優(yōu)于其他流行方法,在Weizmann和UCF sports數(shù)據(jù)集分別取得了85.34%和80.2%的識別率。

【文章頁數(shù)】：8 頁

【部分圖文】：

圖I人體運動關(guān)鍵區(qū)域提取示例

第１１期??孟勃等：基于四元數(shù)時空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識別??２６４５??式中：〇：（〇（?＜?１）和識／３?＞?１）為亮度范圍的閾值。另外，??顏色標(biāo)準(zhǔn)定義為：??ＣＣ；（?＊，，�。�，?）＝??Ｊ（Ｒ２?＋?Ｇ２?＋?Ｂ２）－??（Ｒ，Ｒ?＋?Ｇ，Ｇ?＋?Ｂ，Ｂ）??Ｒ，２....

圖2QST-GNN的網(wǎng)絡(luò)結(jié)構(gòu)

第１１期??孟勃等：基于四元數(shù)時空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識別??２６４５??式中：〇：（〇（?＜?１）和識／３?＞?１）為亮度范圍的閾值。另外，??顏色標(biāo)準(zhǔn)定義為：??ＣＣ；（?＊，，��；，?）＝??Ｊ（Ｒ２?＋?Ｇ２?＋?Ｂ２）－??（Ｒ，Ｒ?＋?Ｇ，Ｇ?＋?Ｂ，Ｂ）??Ｒ，２....

圖3Gray-CNN和3Channel-CNN的結(jié)構(gòu)

２６４６??儀器儀表學(xué)報??第３?８卷??１）

圖５?ＵＣＦ?ｓｐｏｒｔｓ數(shù)據(jù)集上本文方法的混淆矩陣??Ｆｉｇ．?５?Ｃｏｎｆｕｓｉｏｎ?ｍａｔｒｉｘ?ｆｏｒ?ｔｈｅ?ＵＣＦ?ｓｐｏｒｔｓ?ｄａｔａｓｅｔ??

２６４８??儀器儀表學(xué)報??第３?８卷??跳水??打高爾夫??踢球??舉重??騎馬??跑少??滑板??鞍馬??單雙杠??行走??％％?％?％?＼?％??圖５?ＵＣＦ?ｓｐｏｒｔｓ數(shù)據(jù)集上本文方法的混淆矩陣??Ｆｉｇ．?５?Ｃｏｎｆｕｓｉｏｎ?ｍａｔｒｉｘ?ｆｏｒ?ｔｈｅ?ＵＣＦ?....

本文編號：3983824