發(fā)布時間：2020-03-28 09:36

【摘要】：強化學習是解決順序決策問題的一類重要的機器學習技術(shù),經(jīng)過幾十年的發(fā)展已經(jīng)成功應(yīng)用于自動控制、機器人、推薦和檢索等諸多領(lǐng)域。近年來,使用遷移學習方法來解決強化學習任務(wù)的研究表明,從源任務(wù)中學到的知識可以用來更好地解決類似的目標任務(wù)。然而,當進行遷移學習的源任務(wù)與目標任務(wù)不相似時,會導(dǎo)致負遷移的發(fā)生,但是很少有研究關(guān)注如何防止負遷移,因此該問題仍然是一個開放性的問題。目前大部分遷移學習方法假設(shè)相似的源任務(wù)是由人來選擇的;只有少量方法基于任務(wù)相似性度量選擇最相似的源任務(wù),但是這些方法往往都有比較嚴格的前提條件;此外,目前還沒有一種明確的方法可以根據(jù)一個或多個指標確定負遷移何時發(fā)生。本文針對強化學習遷移中的負遷移問題,研究如何選擇合適的源任務(wù),從不同角度提出了相應(yīng)的解決方法。其主要貢獻可以概括如下:1.針對強化學習遷移中如何選擇合適的源任務(wù)這一問題,提出了兩種新穎的基于整體模型的馬爾可夫決策過程(Markov Decision Process,MDP)間的距離度量方法。具體的,(1)這兩種度量都是基于狀態(tài)間距離的。為此,本文提出了同構(gòu)的MDP(Homogeneous MDP)的概念以及計算同構(gòu)MDP的狀態(tài)間距離的方法;(2)這兩種度量方法分別使用康托洛維奇度量(Kantorovich Metric)和豪斯多夫度量(Hausdorff Metric)來組合兩個MDP的狀態(tài)間的距離,以此作為兩個MDP間的距離。這兩種度量能夠用于強化學習遷移中,根據(jù)任務(wù)間的距離選擇合適的源任務(wù)。此外,本文還提出了兩種相應(yīng)的值函數(shù)遷移方法。在通用的實驗場景上的實驗結(jié)果表明,本文提出的度量能夠有效地找到相似任務(wù),避免負遷移;同時,所提出的度量和遷移方法能夠顯著提升算法的學習性能。2.針對強化學習遷移中如何判斷遷移學習是否有效這一問題,提出了一種基于深度神經(jīng)網(wǎng)絡(luò)模型的識別一對遷移任務(wù)的正負遷移性能的方法。本文研究一類視頻強化學習任務(wù)(Video Reinforcement Learning Tasks),該類任務(wù)的特征可由其任務(wù)描述圖像表示,不同任務(wù)間的相關(guān)性(或差異)能夠體現(xiàn)在圖像中。在這類任務(wù)上,將預(yù)測遷移性能(正遷移或負遷移)的問題形式化為二分類問題;然后采用一個深度卷積神經(jīng)網(wǎng)絡(luò)自動學習兩個任務(wù)的高層特征表示,并用一個全連接網(wǎng)絡(luò)預(yù)測其遷移性能。在通用的實驗場景上構(gòu)造數(shù)據(jù)集并進行實驗,結(jié)果表明,本文所提出的方法可以準確地預(yù)測遷移性能,并且顯著優(yōu)于對比方法。3.針對課程學習中如何構(gòu)造合適.的課程這一問題,提出了一類基于源任務(wù)自動創(chuàng)建和任務(wù)相似度的構(gòu)建遷移學習任務(wù)序列的方法。其主要創(chuàng)新點有:(1)基于面向?qū)ο蟮膹娀瘜W習任務(wù)表示(Object-Oriented Representation),提出了三種簡化任務(wù)的算子,用于修改目標任務(wù)生成源任務(wù)集合。(2)針對使用不同算子修改的任務(wù),提出了相應(yīng)的任務(wù)相似性度量方法,這些度量都是基于面向?qū)ο蟮谋硎?根據(jù)對象、狀態(tài)等的相似性和差異性進行定義;同時,結(jié)合任務(wù)的難易程度定義了任務(wù)遷移潛能。(3)提出了兩種基于遷移潛能的任務(wù)序列自動構(gòu)造方法。在通用的實驗場景上的實驗結(jié)果表明,本文所提出的方法能夠構(gòu)造較好的任務(wù)序列,顯著提升目標任務(wù)的學習速度,并且優(yōu)于現(xiàn)有的最新算法。
【圖文】：

識遷移到目標任務(wù)，來改變目標任務(wù)的學習過程；這相當于智能體在學習之前逡逑獲得了一些先驗知識，以指導(dǎo)其更好的進行學習。強化學習遷移的基本框架如逡逑圖１．２所示。通常，強化學習遷移的過程可以分為三個步驟：（１）根據(jù)目標任逡逑務(wù)，選擇合適的一個或多個源任務(wù)（和源任務(wù)中學到的知識）；（２）獲得源任務(wù)逡逑和目標任務(wù)之間的相關(guān)性，根據(jù)該相關(guān)性生成遷移知識；（３）將遷移知識遷移逡逑到目標任務(wù)，學習目標任務(wù)。在連續(xù)的遷移場景中（如終身強化學習Ｌｉｆｅｌｏｎｇ逡逑Ｌｅａｍｉｎｇ［ｌ，，２４，邋１５１］），智能體學好目標任務(wù)后，可以將該任務(wù)及學到的知識也逡逑存入源任務(wù)庫中，在未來遇到相似的新任務(wù)時復(fù)用該任務(wù)的知識（如圖中虛線逡逑所示）。逡逑ＣＴ邋＞邋知識邋Ａ邋＾邐邋／邐Ａ邋邐逡逑源任務(wù)庫知識Ｋ－２＾遷移算法－移－知％目標任務(wù)一＊學習算法Ｉ￣＾逡逑：邐‘邐／邐邐邋Ｉ逡逑■邐Ｋｎ邋Ｍ邐Ｉ逡逑Ｌ：．邐Ｊ逡逑圖１．２：強化學習遷移的基本框架逡逑我們知道，如果源任務(wù)與目標任務(wù)相似，那么從源任務(wù)遷移知識到目標任逡逑務(wù)，很可能會提高智能體在目標任務(wù)的學習性能；反之，如果源任務(wù)和目標任逡逑務(wù)不相似

本文主要針對強化學習遷移中的負遷移問題，研究如何選擇合適的源任務(wù)，逡逑從不同角度提出了相應(yīng)的解決方法。全文共六章，各章的組織結(jié)構(gòu)和主要研究逡逑內(nèi)容如圖１．３所示。其具體研宄內(nèi)容可以概括如下：逡逑１．
【學位授予單位】：南京大學
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TP181

【相似文獻】

相關(guān)期刊論文 前10條

1 謝超蘭;;高中英語任務(wù)型閱讀教學初探[J];青少年日記(教育教學研究);2016年08期

2 楊玲麗;;優(yōu)化方式,自主探究——“任務(wù)學習單”在綜合實踐活動中的運用[J];華夏教師;2014年S1期

3 華芳;;例談用好“任務(wù)學習單”[J];七彩語文(教師論壇);2015年08期

4 ;介紹Jane Willis著《任務(wù)學習法概覽》[J];外語教學與研究;1998年04期

5 許棣華;王志堅;;基于多任務(wù)學習的郵件過濾系統(tǒng)的研究[J];計算機技術(shù)與發(fā)展;2010年10期

6 李松林,甘健侯;基于任務(wù)學習法的素質(zhì)教育研究[J];學術(shù)探索;2002年02期

7 余傳明;李浩男;安璐;;基于多任務(wù)深度學習的文本情感原因分析[J];廣西師范大學學報(自然科學版);2019年01期

8 韓鳳娟;肖春靜;王歡;;基于多任務(wù)學習的微博流行度預(yù)測[J];河南大學學報(自然科學版);2017年05期

9 馬愷;;基于樹結(jié)構(gòu)的多任務(wù)學習算法[J];福建電腦;2017年09期

10 嚴育洪;;設(shè)計好“大任務(wù)”,讓學生看見“知識就是力量”[J];小學教學(數(shù)學版);2018年03期

相關(guān)會議論文 前4條

1 ;任務(wù)驅(qū)動式教學法[A];中學教育科研2017年5-6期（總第216-217期）[C];2017年

2 張宇;張鵬遠;顏永紅;;基于注意力LSTM和多任務(wù)學習的遠場語音識別[A];第十四屆全國人機語音通訊學術(shù)會議（NCMMSC’2017）論文集[C];2017年

3 雷加美;;英語教學中的任務(wù)型閱讀模式研究[A];十三五規(guī)劃科研成果匯編(第二卷)[C];2017年

4 田滿紅;;中級工數(shù)學課程與專業(yè)結(jié)合的教學實踐[A];中國職協(xié)2016年度優(yōu)秀科研成果獲獎?wù)撐募�（學校二等獎）[C];2016年

相關(guān)重要報紙文章 前6條

1 江蘇省無錫市錫山教師進修學校 嚴育洪;尋找撬起課堂的支點[N];中國教師報;2017年

2 記者 徐愛龍;緊抓首要政治任務(wù)學習宣傳貫徹好十八大精神 緊密聯(lián)系自身實際主動服務(wù)全面小康社會建設(shè)[N];甘肅日報;2012年

3 記者 徐愛龍;緊抓首要政治任務(wù)學習宣傳貫徹好十八大精神 緊密聯(lián)系自身實際主動服務(wù)全面小康社會建設(shè)[N];甘肅法制報;2012年

4 浙江省特級教師、金華市教育局教研室副主任 朱孝平;“完美”學習任務(wù)源自生動實踐[N];中國教育報;2019年

5 本報記者 朱穎婕;課堂如何跟上“超越課本”的學生[N];文匯報;2018年

6 撰稿 段麗 策劃 吉奉剛;MVP注入發(fā)展新動力[N];中國郵政報;2012年

相關(guān)博士學位論文 前5條

1 宋錦華;強化學習遷移中的源任務(wù)選擇研究[D];南京大學;2018年

2 張曉彤;多任務(wù)聚類研究[D];大連理工大學;2018年

3 李亞;多任務(wù)學習的研究[D];中國科學技術(shù)大學;2018年

4 浦劍;多任務(wù)學習算法研究[D];復(fù)旦大學;2013年

5 楊名;矩陣廣義逆高斯分布在多任務(wù)學習中的應(yīng)用[D];浙江大學;2014年

相關(guān)碩士學位論文 前10條

1 馬建陽;基于多任務(wù)學習的數(shù)據(jù)分類方法研究[D];北京交通大學;2018年

2 金鳳;多視角的構(gòu)建及其在單任務(wù)學習和多任務(wù)學習中的應(yīng)用[D];華東師范大學;2010年

3 黃艾青;基于疊加模型的多任務(wù)學習及應(yīng)用[D];中國科學技術(shù)大學;2015年

4 劉凌波;基于多任務(wù)學習的年齡估計研究[D];中南大學;2012年

5 戴美銀;基于動態(tài)模糊集的半監(jiān)督多任務(wù)學習[D];蘇州大學;2012年

6 周茜;基于多任務(wù)學習的人臉識別方法[D];西北大學;2013年

7 鄒亮;基于多任務(wù)學習的微博信息流重排序研究[D];西安電子科技大學;2017年

8 曹佳炯;基于多任務(wù)學習和度量學習的人臉屬性分類研究[D];浙江大學;2018年

9 田貝貝;基于流形學習和多任務(wù)學習的腫瘤基因表達數(shù)據(jù)分類方法研究[D];武漢科技大學;2015年

10 羅忠莉;網(wǎng)絡(luò)環(huán)境下任務(wù)牽引式教學在初中信息技術(shù)課程中的應(yīng)用探究[D];云南師范大學;2017年

本文編號：2604268