發(fā)布時(shí)間：2024-02-15 02:56

　　專(zhuān)注度是人類(lèi)智能行為的具體表現(xiàn)之一。在日常生活中,人們往往是通過(guò)眼神、動(dòng)作和面部表情等傳遞的信息來(lái)判斷一個(gè)人是否專(zhuān)注于某事或某物。隨著“AI+教育”理念的提出,學(xué)習(xí)者專(zhuān)注度的研究備受學(xué)者們的重視,譬如智慧課堂在國(guó)內(nèi)引起了熱潮。最初,大部分研究者對(duì)學(xué)習(xí)者的專(zhuān)注度檢測(cè)研究還停留在基于單一特征的專(zhuān)注度識(shí)別上。近年來(lái),識(shí)別基礎(chǔ)的不斷堅(jiān)實(shí)以及人工智能技術(shù)的不斷發(fā)展使得越來(lái)越多的研究人員將目光轉(zhuǎn)向了多特征融合的識(shí)別研究。但仍舊未能解決傳統(tǒng)專(zhuān)注度評(píng)價(jià)系統(tǒng)中的評(píng)價(jià)滯后、評(píng)價(jià)依據(jù)單一的問(wèn)題。本文針對(duì)課堂環(huán)境下提取到的面部、頭部和身體等多個(gè)維度的姿態(tài)信息,提出了從特征層和模型層兩個(gè)層面來(lái)構(gòu)建多維度特征融合模型的方法,并在課堂環(huán)境下使用該方法自動(dòng)檢測(cè)學(xué)生專(zhuān)注程度,論文包含以下幾個(gè)方面的研究。1)提出了基于教室場(chǎng)景的單維度課堂專(zhuān)注度評(píng)價(jià)模型。主要探索了不同維度下的特征提取方式對(duì)課堂專(zhuān)注度的影響。(1)提出了兩種新的特征處理方法。一是在Gabor小波變換基礎(chǔ)上利用LBP算法處理面部情緒信息。二是利用Alphapose算法提取人體關(guān)鍵點(diǎn)信息,并通過(guò)計(jì)算關(guān)節(jié)點(diǎn)間的角度和模比值等描述姿態(tài)動(dòng)作的參數(shù)信息來(lái)構(gòu)建動(dòng)作特征。...

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.6卷積操作

12基于多維度特征融合的課堂專(zhuān)注度檢測(cè)域，性能得以提升。不僅使用并行的SPPE分支來(lái)優(yōu)化自身網(wǎng)絡(luò)，還使用P-NMS來(lái)解決冗余檢測(cè)問(wèn)題。AlphaPose通過(guò)比較姿態(tài)間的相似度以及數(shù)據(jù)驅(qū)動(dòng)法來(lái)優(yōu)化姿態(tài)距離參數(shù)；通過(guò)PGPG強(qiáng)化訓(xùn)練數(shù)據(jù)，學(xué)習(xí)并輸出結(jié)果中不同姿態(tài)的描述信息；通過(guò)模仿人....

圖3.5教室場(chǎng)景下的人臉檢測(cè)效果示意圖

22基于多維度特征融合的課堂專(zhuān)注度檢測(cè)3.3.2人臉檢測(cè)本文在人臉檢測(cè)階段采用的是性能魯棒并且開(kāi)源的MTCNN算法。該算法無(wú)論是在檢測(cè)精確度還是運(yùn)行速度上，在眾多深度學(xué)習(xí)檢測(cè)算法中均表現(xiàn)較優(yōu)，且對(duì)光線(xiàn)、角度等魯棒。同時(shí)其內(nèi)存消耗也不大，實(shí)時(shí)人臉檢測(cè)的可行性高，基本滿(mǎn)足了教室環(huán)境下....

圖3.6單人臉的Gabor幅值特征圖

23第3章基于單維度的課堂專(zhuān)注度評(píng)價(jià)Gabor小波變換是一種在空間域和頻率域中都能取得最優(yōu)局部化的傅里葉變換，其復(fù)數(shù)表達(dá)形式如式(3.1)所示。xiyxyxg2exp2exp,,,,;,2222(3.1)Gabor函數(shù)包括,,,,,等參數(shù)，其中，表示卷積核的尺寸，表示波長(zhǎng)，表示濾....

圖3.7單張人臉圖像及其3*3分塊領(lǐng)域

24基于多維度特征融合的課堂專(zhuān)注度檢測(cè)(2)基于Gabor的LBP特征提取LBP算子在處理圖像灰度變化方面具有很大的優(yōu)越性，能一定程度消除光照變化的影響。因此，本文基于Gabor變換的人臉圖像基礎(chǔ)，采用LBP算子進(jìn)一步提取面部圖像的紋理特征。LBP特征用于描述圖像某個(gè)中心像素點(diǎn)(....

本文編號(hào)：3899080