發(fā)布時間：2024-02-15 02:56

　　專注度是人類智能行為的具體表現(xiàn)之一。在日常生活中,人們往往是通過眼神、動作和面部表情等傳遞的信息來判斷一個人是否專注于某事或某物。隨著“AI+教育”理念的提出,學(xué)習(xí)者專注度的研究備受學(xué)者們的重視,譬如智慧課堂在國內(nèi)引起了熱潮。最初,大部分研究者對學(xué)習(xí)者的專注度檢測研究還停留在基于單一特征的專注度識別上。近年來,識別基礎(chǔ)的不斷堅實以及人工智能技術(shù)的不斷發(fā)展使得越來越多的研究人員將目光轉(zhuǎn)向了多特征融合的識別研究。但仍舊未能解決傳統(tǒng)專注度評價系統(tǒng)中的評價滯后、評價依據(jù)單一的問題。本文針對課堂環(huán)境下提取到的面部、頭部和身體等多個維度的姿態(tài)信息,提出了從特征層和模型層兩個層面來構(gòu)建多維度特征融合模型的方法,并在課堂環(huán)境下使用該方法自動檢測學(xué)生專注程度,論文包含以下幾個方面的研究。1)提出了基于教室場景的單維度課堂專注度評價模型。主要探索了不同維度下的特征提取方式對課堂專注度的影響。(1)提出了兩種新的特征處理方法。一是在Gabor小波變換基礎(chǔ)上利用LBP算法處理面部情緒信息。二是利用Alphapose算法提取人體關(guān)鍵點信息,并通過計算關(guān)節(jié)點間的角度和模比值等描述姿態(tài)動作的參數(shù)信息來構(gòu)建動作特征。...

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2.6卷積操作

12基于多維度特征融合的課堂專注度檢測域，性能得以提升。不僅使用并行的SPPE分支來優(yōu)化自身網(wǎng)絡(luò)，還使用P-NMS來解決冗余檢測問題。AlphaPose通過比較姿態(tài)間的相似度以及數(shù)據(jù)驅(qū)動法來優(yōu)化姿態(tài)距離參數(shù)；通過PGPG強化訓(xùn)練數(shù)據(jù)，學(xué)習(xí)并輸出結(jié)果中不同姿態(tài)的描述信息；通過模仿人....

圖3.5教室場景下的人臉檢測效果示意圖

22基于多維度特征融合的課堂專注度檢測3.3.2人臉檢測本文在人臉檢測階段采用的是性能魯棒并且開源的MTCNN算法。該算法無論是在檢測精確度還是運行速度上，在眾多深度學(xué)習(xí)檢測算法中均表現(xiàn)較優(yōu)，且對光線、角度等魯棒。同時其內(nèi)存消耗也不大，實時人臉檢測的可行性高，基本滿足了教室環(huán)境下....

圖3.6單人臉的Gabor幅值特征圖

23第3章基于單維度的課堂專注度評價Gabor小波變換是一種在空間域和頻率域中都能取得最優(yōu)局部化的傅里葉變換，其復(fù)數(shù)表達(dá)形式如式(3.1)所示。xiyxyxg2exp2exp,,,,;,2222(3.1)Gabor函數(shù)包括,,,,,等參數(shù)，其中，表示卷積核的尺寸，表示波長，表示濾....

圖3.7單張人臉圖像及其3*3分塊領(lǐng)域

24基于多維度特征融合的課堂專注度檢測(2)基于Gabor的LBP特征提取LBP算子在處理圖像灰度變化方面具有很大的優(yōu)越性，能一定程度消除光照變化的影響。因此，本文基于Gabor變換的人臉圖像基礎(chǔ)，采用LBP算子進(jìn)一步提取面部圖像的紋理特征。LBP特征用于描述圖像某個中心像素點(....

本文編號：3899080