發(fā)布時(shí)間：2020-07-15 22:02

【摘要】：在線教育因?yàn)槠渫黄屏藗鹘y(tǒng)教育模式時(shí)間、空間、授課人數(shù)的限制,并且其教育資源豐富、門檻低,成為了越來越多的人接受教育的方式。然而在線教育是一種單向教學(xué)過程,缺乏學(xué)習(xí)者與老師之間的交流互動(dòng),“情感缺失”現(xiàn)象嚴(yán)重。通過實(shí)時(shí)檢測學(xué)習(xí)者情感狀態(tài)并為其提供個(gè)性化輔助能有效緩解“情感缺失”問題。因此,基于多模態(tài)情感識別的自適應(yīng)教學(xué)系統(tǒng)的研究具有重要研究意義和應(yīng)用指導(dǎo)價(jià)值。目前在線學(xué)習(xí)領(lǐng)域中的情感識別研究還存在一些問題:一是視頻學(xué)習(xí)作為在線教育中的一個(gè)重要環(huán)節(jié)承擔(dān)著知識傳授的主要責(zé)任,卻很少被關(guān)注。二是在學(xué)習(xí)者觀看視頻學(xué)習(xí)的過程中,學(xué)習(xí)者的面部人像數(shù)據(jù)以及視頻交互行為數(shù)據(jù)能夠通過計(jì)算機(jī)技術(shù)獲取,但是目前鮮有研究將學(xué)習(xí)者的實(shí)時(shí)交互行為考慮在學(xué)習(xí)情感模型之中,并且絕大部分研究未將視頻交互行為數(shù)據(jù)與人像數(shù)據(jù)結(jié)合考慮。三是目前的研究僅僅停留于理論層面,無法體現(xiàn)實(shí)際應(yīng)用價(jià)值。針對上述問題,本文以學(xué)習(xí)者視頻學(xué)習(xí)過程中的情感識別為主線,提出了基于多模態(tài)情感識別的自適應(yīng)教學(xué)系統(tǒng)。本文研究的主要成果總結(jié)如下:(1)針對視頻學(xué)習(xí)過程,提出使用多模態(tài)模型即視頻交互行為特征及學(xué)習(xí)者人像特征作為實(shí)時(shí)情感識別的特征數(shù)據(jù)。人像數(shù)據(jù)通過攝像頭獲取并提取出相應(yīng)特征數(shù)據(jù),視頻交互行為特征數(shù)據(jù)由教育系統(tǒng)定義和提取。針對數(shù)據(jù)中存在的不合法數(shù)據(jù)及不平衡問題,本文首先對數(shù)據(jù)進(jìn)行預(yù)清洗操作,隨后使用Borderline-SMOTE1過采樣方法結(jié)合Tomek Link Removal欠采樣方法生成平衡數(shù)據(jù)集。(2)實(shí)時(shí)學(xué)習(xí)情感模型。本研究在總結(jié)現(xiàn)有情感模型研究工作的基礎(chǔ)上提出了多模態(tài)情感模型,使用自主設(shè)計(jì)研發(fā)的客戶端采集數(shù)據(jù),通過機(jī)器學(xué)習(xí)算法訓(xùn)練得到基于多模態(tài)的情感分類器。本研究關(guān)注的學(xué)習(xí)情感有:高興、困惑、專注、分心、驚訝、思考、正常及未知共八個(gè)種類。除上述情感類別外,本研究還包含了筆記行為的識別。(3)本研究設(shè)計(jì)了自適應(yīng)教學(xué)系統(tǒng)框架并實(shí)現(xiàn)了基于多模態(tài)情感識別的自適應(yīng)教學(xué)原型系統(tǒng)。針對目前情感識別僅停留于理論層面的缺陷,本研究提出了通用系統(tǒng)框架并將實(shí)時(shí)情感識別應(yīng)用于實(shí)際系統(tǒng)之中,設(shè)計(jì)了個(gè)性化輔助手段以突顯情感識別的應(yīng)用價(jià)值。本文首先介紹基于多模態(tài)情感識別的自適應(yīng)教學(xué)系統(tǒng)的研究意義和價(jià)值,然后介紹多模態(tài)情感識別及學(xué)習(xí)者行為分析的研究現(xiàn)狀和存在的問題,并提出了本文的研究路線。接著,本文對學(xué)習(xí)者進(jìn)行行為建模,并對特征提取、情感分類模型、數(shù)據(jù)不平衡、自適應(yīng)教學(xué)系統(tǒng)框架設(shè)計(jì)等關(guān)鍵技術(shù)進(jìn)行了介紹。之后是本文模型的實(shí)驗(yàn)驗(yàn)證及原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。最后是工作總結(jié)和展望。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：G434;TP311.52;TP391.41
【圖文】：

上海市發(fā)展和改革委員戰(zhàn)略新興產(chǎn)業(yè)專項(xiàng)項(xiàng)目“基于務(wù)公共服務(wù)平臺”、上海市經(jīng)濟(jì)和信息化委員會、上項(xiàng)目“上海市物聯(lián)網(wǎng)技術(shù)高技能人才培養(yǎng)基地 RFID”兩個(gè)課題支撐。日益重視的當(dāng)下，傳統(tǒng)的教育模式無法滿足現(xiàn)代教學(xué)破了傳統(tǒng)教育模式在時(shí)間、空間、授課人數(shù)等方面的、門檻低，目前在線教育已經(jīng)成為了被越來越多的人教育平臺，如 Coursera、edX、網(wǎng)易云課堂、騰訊課筍般上線。根據(jù)智研咨詢 2017 年發(fā)布的《2017-202查研究及發(fā)展前景預(yù)測報(bào)告》報(bào)告顯示[1]，2016 年在 億元，在線教育用戶規(guī)模達(dá)到 9001 萬，預(yù)計(jì) 2018 2000 億，如圖 1-1 所示。越來越多的高等院校、互推進(jìn)教育現(xiàn)代化提升全民教育水平。

上海交通大學(xué)碩士學(xué)位論文在線教育是一種單向教學(xué)過程，缺乏學(xué)習(xí)者與老師之間的交流互動(dòng)，“情”現(xiàn)象嚴(yán)重。學(xué)習(xí)者在線教育時(shí)無法得到及時(shí)反饋，學(xué)習(xí)曲線陡峭，從線課程輟學(xué)率居高不下，平臺用戶流失嚴(yán)重。智能教育系統(tǒng)正是為了解題，其旨在為學(xué)習(xí)者提供及時(shí)和個(gè)性化的指導(dǎo)及反饋（通常沒有教師的通過使用計(jì)算機(jī)手段讓學(xué)習(xí)者高效自主學(xué)習(xí)，同時(shí)解決學(xué)習(xí)者對于教師賴的問題。通過情感識別技術(shù)，智能教育系統(tǒng)可以實(shí)時(shí)感知學(xué)習(xí)者的學(xué)態(tài)（如困惑、高興、驚訝等），并根據(jù)情感狀態(tài)為學(xué)習(xí)者提供個(gè)性化輔助、回放、提供輔助材料等，從而讓學(xué)習(xí)者做到自適應(yīng)學(xué)習(xí)。通過將在線與智能教育系統(tǒng)有機(jī)結(jié)合可以彌補(bǔ)當(dāng)前在線教育平臺中存在的“情感缺。

圖 2-1 情感識別流程Fig.2-1 Scheme of the generic emotional detector作者設(shè)計(jì)了一個(gè)實(shí)驗(yàn)場景：所有的學(xué)生在筆記本電腦上通過一個(gè)在線學(xué)習(xí)平臺進(jìn)行學(xué)習(xí)，所有筆記本配有前置深度攝像頭以獲取用戶的表情、臉部標(biāo)定數(shù)據(jù)等，通過在線學(xué)習(xí)平臺的記錄日志獲取上下文數(shù)據(jù)。當(dāng)數(shù)據(jù)采集完畢后，作者雇傭了心理學(xué)和教育學(xué)方面的專家通過觀察學(xué)生學(xué)習(xí)時(shí)的視頻結(jié)合學(xué)習(xí)的內(nèi)容對學(xué)生的情感狀態(tài)進(jìn)行標(biāo)定。圖像特征主要包括用戶的姿勢、頭部位置、臉部表情等

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 李帥;張巖峰;于戈;焦明海;;MOOC平臺學(xué)習(xí)行為數(shù)據(jù)的采集與分析[J];中國科技論文;2015年20期

2 李封;李婕;趙長寬;陳默;;大規(guī)模網(wǎng)絡(luò)課程中學(xué)習(xí)者學(xué)習(xí)行為分析[J];計(jì)算機(jī)教育;2014年20期

3 魏刃佳;丁亦U

本文編號：2757069