基于RealSense的自發(fā)學(xué)習(xí)表情識別研究
發(fā)布時間:2020-10-23 08:36
情感在人的生活中發(fā)揮重要的作用,能夠直接影響人的思維、記憶、創(chuàng)造力以及行為。課堂學(xué)習(xí)環(huán)境中學(xué)生的情感狀態(tài)會影響其認(rèn)知活動,積極的情感將對學(xué)習(xí)活動起到促進作用。傳統(tǒng)課堂中教師面對的學(xué)生數(shù)量較多,在保證授課質(zhì)量的同時難以及時感知每個學(xué)生的學(xué)習(xí)情感狀態(tài),不利于師生之間的和諧情感交互。人工智能技術(shù)的發(fā)展推動了智慧學(xué)習(xí)的深入研究,智慧學(xué)習(xí)環(huán)境中學(xué)生情感的準(zhǔn)確識別是幫助教師及時調(diào)控學(xué)生情感狀態(tài)、優(yōu)化教學(xué)的重要手段。面部表情是情感的主要表達途徑,并且在學(xué)習(xí)環(huán)境中相較于其他生理信息更容易獲取,因此智慧學(xué)習(xí)環(huán)境中學(xué)生的學(xué)習(xí)情感多通過表情進行判斷。通過總結(jié)相關(guān)研究發(fā)現(xiàn),對于學(xué)習(xí)情感的探索起步較晚,近幾年發(fā)展迅速,但仍存在以下問題:其一,各研究關(guān)注的學(xué)習(xí)情感類型不同,并且沒有給出合理的分類依據(jù);其二,學(xué)習(xí)表情相關(guān)的數(shù)據(jù)庫較少,難以支持算法的深入研究;其三,學(xué)習(xí)表情大多比較細(xì)微,區(qū)分度小,缺少針對學(xué)習(xí)表情特點的特征提取方法,識別率較低,不利于應(yīng)用到實際學(xué)習(xí)環(huán)境中;谝陨蠁栴},本文構(gòu)建學(xué)習(xí)表情數(shù)據(jù)庫,提出了一種基于深度學(xué)習(xí)的融合特征提取方法。首先,基于對學(xué)習(xí)情感的發(fā)生機制、教育功能和類型的研究,提出本文關(guān)注的學(xué)習(xí)情感類型,即五種常見并具有關(guān)鍵教育功能的情感狀態(tài):驚奇、困惑、愉悅、疲倦、中性,并給出研究依據(jù)。結(jié)合面部動作編碼體系總結(jié)了每種表情的關(guān)鍵表征。其次,構(gòu)建自發(fā)學(xué)習(xí)表情數(shù)據(jù)庫,包括驚訝、困惑、高興、疲倦、中性五種表情類型,制定了嚴(yán)格的數(shù)據(jù)庫錄制標(biāo)準(zhǔn),采用Intel RealSense SR300攝像頭拍攝被試在學(xué)習(xí)狀態(tài)下的自然情感流露,并由心理學(xué)人員和被試分別標(biāo)注情感,以保證標(biāo)簽的準(zhǔn)確性。再次,本文針對學(xué)習(xí)表情特點提出了一種融合特征提取方法。構(gòu)建7層卷積神經(jīng)網(wǎng)絡(luò)(CNN)用于深度全局特征提取;利用完整局部二值模型(CLBP)提取淺層全局紋理特征,并使用核主成分分析(KPCA)對紋理特征進行分塊降維;在眉毛、眼睛、嘴巴部分定義了四種幾何特征,將三者融合后的特征作為最終的表情特征數(shù)據(jù)。通過深層與淺層、局部與全局兩個層面的特征融合,有效增加了特征表現(xiàn)力與穩(wěn)健性,同時特征維度低,能夠提高識別效率。最后,通過實驗驗證本文算法有效性。將本文提出的方法在自發(fā)學(xué)習(xí)表情數(shù)據(jù)庫、中國化面孔情緒圖片系統(tǒng)和CK+庫中進行測試,識別準(zhǔn)確率達到95.6%、87.6%、96.3%。分別將單一特征與融合特征識別率進行對比,結(jié)果表明本文特征融合方法比單一特征效果更好;同時對比目前主流方法的識別效果,證明本文方法能夠有效識別學(xué)習(xí)表情,提高基本表情的識別率。本文研究為在課堂學(xué)習(xí)環(huán)境中實現(xiàn)學(xué)生學(xué)習(xí)情感分析,促進智慧學(xué)習(xí)的發(fā)生奠定了技術(shù)基礎(chǔ)。
【學(xué)位單位】:華中師范大學(xué)
【學(xué)位級別】:碩士
【學(xué)位年份】:2019
【中圖分類】:TP18;G434
【部分圖文】:
開心愉悅的正向情感;若疑惑未能得到解答,學(xué)生需求得不到滿足,將會導(dǎo)致失??落等負(fù)面情感,從而降低學(xué)生的學(xué)習(xí)興趣。學(xué)生的需要又分為不同類型,如低層??次需要、高層次需要和不合理需要,面對不同的需要調(diào)控方式不同,如圖2.2。因??此在教學(xué)過程中,了解學(xué)生情感發(fā)生機制與學(xué)生需求類型,能夠幫助教師進行合??理調(diào)控,誘發(fā)學(xué)生的積極情感。??A?、??/?(%層v ̄?培養(yǎng)、發(fā)展??/次需要\??/?\??/低層次需要'T+利用、提商??/?\??/?\??.?/?不合理需要?誘導(dǎo)、轉(zhuǎn)化??圖2.2不同學(xué)生需要的調(diào)控方式??預(yù)期是對即將發(fā)生而未發(fā)生事物的估量,能夠影響情感的強度?陀^事物與??個體所預(yù)期的差距越大,產(chǎn)生的情感就越強烈。例如,在考試前學(xué)生定的目標(biāo)過??10??
D’Mello等人[51]提出一種復(fù)雜學(xué)習(xí)情感動態(tài)變化模型,將學(xué)習(xí)情感分為六類:??投入、困惑、驚訝、快樂、挫折及厭惡。模型中指出學(xué)習(xí)者在學(xué)習(xí)過程中的情感??體驗與認(rèn)知活動是相互聯(lián)系和動態(tài)變化的,如圖2.4。當(dāng)處于平衡狀態(tài)的學(xué)習(xí)者面??臨異;蛘系K時,會經(jīng)歷認(rèn)知不平衡產(chǎn)生困惑;若困惑一直無法解決,學(xué)習(xí)受到??阻礙,學(xué)生會陷入挫折,持續(xù)的挫折情感會轉(zhuǎn)化為厭惡,最終脫離學(xué)習(xí)狀態(tài);若??思考后能夠解決問題,學(xué)習(xí)者會感到快樂并恢復(fù)到平衡狀態(tài)。其中困惑作為認(rèn)知??失衡的關(guān)鍵信號,是學(xué)習(xí)中的一種重要情感,學(xué)生在課堂中多數(shù)時間處于認(rèn)知平??衡的中性狀態(tài)和認(rèn)知失調(diào)的困惑狀態(tài)之中,若能及時發(fā)現(xiàn)學(xué)生的困惑并適當(dāng)?shù)恼T??12??
/jpfcN碩士學(xué)位論文??MASTER'S?THESIS??五種情感狀態(tài)在課堂學(xué)習(xí)過程中都具有重要的教學(xué)作用,如圖2.5,是學(xué)生學(xué)習(xí)的??關(guān)鍵情感狀態(tài)。學(xué)生表現(xiàn)為中性狀態(tài)代表其正處于認(rèn)知平衡的聽課狀態(tài);在愉悅??的情感體驗中,學(xué)生能夠積極思考,有效提高思維的發(fā)散性和創(chuàng)造性;驚奇本身??屬于一種中性情緒,而在學(xué)習(xí)過程中教學(xué)內(nèi)容引發(fā)的驚奇情感會轉(zhuǎn)化為對知識的??興趣,提高學(xué)生的投入度;遇到疑問時學(xué)生會產(chǎn)生困惑情感,認(rèn)知平衡轉(zhuǎn)化為認(rèn)??知失衡,長時間持續(xù)困惑狀態(tài)會影響學(xué)生正常學(xué)習(xí),因此需要教師及時給予指導(dǎo),??幫助學(xué)生恢復(fù)認(rèn)知平衡狀態(tài);在課堂學(xué)習(xí)中學(xué)生難免出現(xiàn)疲倦感,導(dǎo)致學(xué)習(xí)效率??降低,甚至脫離學(xué)習(xí)狀態(tài),此時需要教師及時發(fā)現(xiàn)及時干預(yù),幫助學(xué)生提高效率。??在智慧學(xué)習(xí)環(huán)境中,利用人工智能技術(shù)即時獲取并識別出學(xué)生的五種表情,能夠??幫助教師在專注于授課時隨時獲取并判斷出學(xué)生的學(xué)習(xí)狀態(tài)
【參考文獻】
本文編號:2852796
【學(xué)位單位】:華中師范大學(xué)
【學(xué)位級別】:碩士
【學(xué)位年份】:2019
【中圖分類】:TP18;G434
【部分圖文】:
開心愉悅的正向情感;若疑惑未能得到解答,學(xué)生需求得不到滿足,將會導(dǎo)致失??落等負(fù)面情感,從而降低學(xué)生的學(xué)習(xí)興趣。學(xué)生的需要又分為不同類型,如低層??次需要、高層次需要和不合理需要,面對不同的需要調(diào)控方式不同,如圖2.2。因??此在教學(xué)過程中,了解學(xué)生情感發(fā)生機制與學(xué)生需求類型,能夠幫助教師進行合??理調(diào)控,誘發(fā)學(xué)生的積極情感。??A?、??/?(%層v ̄?培養(yǎng)、發(fā)展??/次需要\??/?\??/低層次需要'T+利用、提商??/?\??/?\??.?/?不合理需要?誘導(dǎo)、轉(zhuǎn)化??圖2.2不同學(xué)生需要的調(diào)控方式??預(yù)期是對即將發(fā)生而未發(fā)生事物的估量,能夠影響情感的強度?陀^事物與??個體所預(yù)期的差距越大,產(chǎn)生的情感就越強烈。例如,在考試前學(xué)生定的目標(biāo)過??10??
D’Mello等人[51]提出一種復(fù)雜學(xué)習(xí)情感動態(tài)變化模型,將學(xué)習(xí)情感分為六類:??投入、困惑、驚訝、快樂、挫折及厭惡。模型中指出學(xué)習(xí)者在學(xué)習(xí)過程中的情感??體驗與認(rèn)知活動是相互聯(lián)系和動態(tài)變化的,如圖2.4。當(dāng)處于平衡狀態(tài)的學(xué)習(xí)者面??臨異;蛘系K時,會經(jīng)歷認(rèn)知不平衡產(chǎn)生困惑;若困惑一直無法解決,學(xué)習(xí)受到??阻礙,學(xué)生會陷入挫折,持續(xù)的挫折情感會轉(zhuǎn)化為厭惡,最終脫離學(xué)習(xí)狀態(tài);若??思考后能夠解決問題,學(xué)習(xí)者會感到快樂并恢復(fù)到平衡狀態(tài)。其中困惑作為認(rèn)知??失衡的關(guān)鍵信號,是學(xué)習(xí)中的一種重要情感,學(xué)生在課堂中多數(shù)時間處于認(rèn)知平??衡的中性狀態(tài)和認(rèn)知失調(diào)的困惑狀態(tài)之中,若能及時發(fā)現(xiàn)學(xué)生的困惑并適當(dāng)?shù)恼T??12??
/jpfcN碩士學(xué)位論文??MASTER'S?THESIS??五種情感狀態(tài)在課堂學(xué)習(xí)過程中都具有重要的教學(xué)作用,如圖2.5,是學(xué)生學(xué)習(xí)的??關(guān)鍵情感狀態(tài)。學(xué)生表現(xiàn)為中性狀態(tài)代表其正處于認(rèn)知平衡的聽課狀態(tài);在愉悅??的情感體驗中,學(xué)生能夠積極思考,有效提高思維的發(fā)散性和創(chuàng)造性;驚奇本身??屬于一種中性情緒,而在學(xué)習(xí)過程中教學(xué)內(nèi)容引發(fā)的驚奇情感會轉(zhuǎn)化為對知識的??興趣,提高學(xué)生的投入度;遇到疑問時學(xué)生會產(chǎn)生困惑情感,認(rèn)知平衡轉(zhuǎn)化為認(rèn)??知失衡,長時間持續(xù)困惑狀態(tài)會影響學(xué)生正常學(xué)習(xí),因此需要教師及時給予指導(dǎo),??幫助學(xué)生恢復(fù)認(rèn)知平衡狀態(tài);在課堂學(xué)習(xí)中學(xué)生難免出現(xiàn)疲倦感,導(dǎo)致學(xué)習(xí)效率??降低,甚至脫離學(xué)習(xí)狀態(tài),此時需要教師及時發(fā)現(xiàn)及時干預(yù),幫助學(xué)生提高效率。??在智慧學(xué)習(xí)環(huán)境中,利用人工智能技術(shù)即時獲取并識別出學(xué)生的五種表情,能夠??幫助教師在專注于授課時隨時獲取并判斷出學(xué)生的學(xué)習(xí)狀態(tài)
【參考文獻】
相關(guān)期刊論文 前5條
1 程萌萌;林茂松;王中飛;;應(yīng)用表情識別與視線跟蹤的智能教學(xué)系統(tǒng)研究[J];中國遠程教育;2013年03期
2 盧家楣;;情感教學(xué)心理學(xué)研究[J];心理科學(xué);2012年03期
3 袁寶華;王歡;任明武;;基于完整LBP特征的人臉識別[J];計算機應(yīng)用研究;2012年04期
4 鄭小龍;;探求有效理答 走向高效課堂[J];現(xiàn)代中小學(xué)教育;2011年06期
5 龔栩;黃宇霞;王妍;羅躍嘉;;中國面孔表情圖片系統(tǒng)的修訂[J];中國心理衛(wèi)生雜志;2011年01期
相關(guān)碩士學(xué)位論文 前3條
1 孫淑婕;高中生學(xué)業(yè)情緒與應(yīng)對方式的關(guān)系研究[D];天津師范大學(xué);2017年
2 朱隆政;基于OCC模型的中文微博情感識別[D];北京郵電大學(xué);2016年
3 侯洪濤;一種課堂環(huán)境下學(xué)生表情識別系統(tǒng)的研究[D];北京工業(yè)大學(xué);2015年
本文編號:2852796
本文鏈接:http://www.lk138.cn/jiaoyulunwen/jgkg/2852796.html
最近更新
教材專著