發(fā)布時(shí)間：2020-11-20 11:16

　　 隨著計(jì)算機(jī)網(wǎng)絡(luò)和通訊技術(shù)的發(fā)展,通訊設(shè)備通常配備多個(gè)網(wǎng)卡接口,例如智能手機(jī)和便攜式電腦都配置有WiFi和LIE等多個(gè)網(wǎng)卡。然而傳統(tǒng)的單路徑TCP連接只使用單個(gè)的網(wǎng)卡和鏈路進(jìn)行傳輸,導(dǎo)致剩余的接口和鏈路資源空閑以及單路徑傳輸?shù)男阅軉?wèn)題。為了實(shí)現(xiàn)多網(wǎng)卡多鏈路的同時(shí)傳輸,互聯(lián)網(wǎng)工程任務(wù)組提出并標(biāo)準(zhǔn)化多路徑傳輸控制協(xié)議(MPTCP),它將單一的TCP數(shù)據(jù)流劃分為多個(gè)子流,在不同的鏈路傳輸。由于鏈路多樣性,MPTCP 比單路徑TCP更加可靠,并且能充分利用網(wǎng)絡(luò)資源。然而在多鏈路網(wǎng)絡(luò),特別是異構(gòu)網(wǎng)絡(luò)中,每條鏈路在帶寬、往返時(shí)延等服務(wù)質(zhì)量指標(biāo)上存在較大差異,使得MPTCP面臨緩沖區(qū)膨脹、帶寬利用率低、隊(duì)頭阻塞、吞吐量下降、應(yīng)用延遲增大等性能問(wèn)題。擁塞控制和數(shù)據(jù)包調(diào)度是MPTCP的基本機(jī)制,同時(shí)是MPTCP設(shè)計(jì)和實(shí)現(xiàn)的核心。因此,優(yōu)化MPTCP的傳輸性能,需要考慮以下兩個(gè)問(wèn)題:(1)擁塞控制問(wèn)題,即如何為每個(gè)子流設(shè)置合適的擁塞窗口。子流的擁塞窗口直接影響子流的吞吐量,對(duì)MPTCP的總吞吐量等服務(wù)質(zhì)量指標(biāo)有著重要影響。(2)數(shù)據(jù)包調(diào)度問(wèn)題,即如何在各個(gè)子流間進(jìn)行數(shù)據(jù)包調(diào)度。MPTCP數(shù)據(jù)包調(diào)度算法決定了子流之間的數(shù)據(jù)流量分配。一個(gè)優(yōu)秀的MPTCP數(shù)據(jù)包調(diào)度算法能夠適應(yīng)復(fù)雜多變的網(wǎng)絡(luò)環(huán)境,優(yōu)化子流之間的流量分配,提高M(jìn)PTCP的性能。針對(duì)上述問(wèn)題,本文分析了傳統(tǒng)啟發(fā)式擁塞控制算法和數(shù)據(jù)包調(diào)度算法的缺陷:基于特定或簡(jiǎn)化的網(wǎng)絡(luò)模型,采用固定的控制規(guī)則,在復(fù)雜多變的動(dòng)態(tài)網(wǎng)絡(luò)中,難以實(shí)現(xiàn)最優(yōu)的擁塞控制和數(shù)據(jù)包調(diào)度。為了從根本上解決上述問(wèn)題,本文提出并實(shí)現(xiàn)基于強(qiáng)化學(xué)習(xí)的MPTCP擁塞控制算法SmartCC和基于深度強(qiáng)化學(xué)習(xí)的MPTCP數(shù)據(jù)包調(diào)度算法ReLeS。SmartCC把擁塞控制過(guò)程建模為馬爾可夫模型,使用強(qiáng)化學(xué)習(xí)技術(shù),訓(xùn)練生成不同網(wǎng)絡(luò)環(huán)境下的最優(yōu)的擁塞控制規(guī)則。實(shí)驗(yàn)表明:SmartCC在總吞吐量、時(shí)延抖動(dòng)等方面均優(yōu)于現(xiàn)有MPTCP擁塞控制算法。ReLeS用人工深度神經(jīng)網(wǎng)絡(luò)表示MPTCP數(shù)據(jù)包調(diào)度策略,訓(xùn)練生成各種網(wǎng)絡(luò)環(huán)境下的最優(yōu)數(shù)據(jù)包調(diào)度策略。實(shí)驗(yàn)結(jié)果表明,對(duì)比現(xiàn)有啟發(fā)式MPTCP數(shù)據(jù)包調(diào)度算法,ReLeS能自適應(yīng)多種動(dòng)態(tài)的網(wǎng)絡(luò)環(huán)境,綜合優(yōu)化吞吐量、應(yīng)用時(shí)延等指標(biāo),有效緩解隊(duì)頭阻塞和緩沖區(qū)膨脹等問(wèn)題。
【學(xué)位單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類(lèi)】：TP393.06
【部分圖文】：

、??圖１－１：?ＭＰＴＣＰ的協(xié)議棧??ＴＣＰ／ＩＰ協(xié)議族是一組不同層次上的多個(gè)協(xié)議的組合，如圖１－１左側(cè)所示，??ＴＣＰ／ＩＰ通常被表示為一個(gè)四層協(xié)議系統(tǒng)，每層負(fù)責(zé)不同的功能，層與層之間分??工合作［Ｉ］。鏈路層通常包括操作系統(tǒng)中的設(shè)備驅(qū)動(dòng)程序和計(jì)算機(jī)中對(duì)應(yīng)的網(wǎng)??絡(luò)接口卡，處理物理接口的細(xì)節(jié)；網(wǎng)絡(luò)層負(fù)責(zé)處理分組選路等分組在網(wǎng)絡(luò)中的??活動(dòng)；傳輸層負(fù)責(zé)為兩臺(tái)主機(jī)上的應(yīng)用程序提供端到端的通信。傳輸控制協(xié)議??ＴＣＰ屬于傳輸層的協(xié)議，可以提供高可靠性的數(shù)據(jù)通信；應(yīng)用層負(fù)責(zé)處理特定??的應(yīng)用程序細(xì)節(jié)［１］。??如圖１－１右側(cè)所示，ＭＰＴＣＰ也屬于傳輸層的協(xié)議，可以看作是單路徑ＴＣＰ??擴(kuò)展到多路徑的多路傳輸協(xié)議。ＭＰＴＣＰ使得多網(wǎng)卡、多鏈路的資源得以充分利??用，同時(shí)提高傳輸?shù)男�率和魯棒性。ＭＰＴＣＰ使用與單路徑ＴＣＰ?—樣的ｓｏｃｋｅｔ??接口，使得能夠兼容現(xiàn)有的ＴＣＰ應(yīng)用。同時(shí)ＭＰＴＣＰ的每個(gè)子流和單路徑ＴＣＰ??流類(lèi)似，使用相同的ＴＣＰ首部數(shù)據(jù)格式和數(shù)據(jù)封裝過(guò)程，這使得ＭＰＴＣＰ能夠??兼容其下的網(wǎng)絡(luò)層協(xié)議。??圖１－２展示了使用ＭＰＴＣＰ進(jìn)行數(shù)據(jù)傳輸時(shí)

?、、、、?ＴＣＰ！?ＴＣＰ２?…ＴＣＰｎ??、??圖１－１：?ＭＰＴＣＰ的協(xié)議棧??ＴＣＰ／ＩＰ協(xié)議族是一組不同層次上的多個(gè)協(xié)議的組合，如圖１－１左側(cè)所示，??ＴＣＰ／ＩＰ通常被表示為一個(gè)四層協(xié)議系統(tǒng)，每層負(fù)責(zé)不同的功能，層與層之間分??工合作［Ｉ］。鏈路層通常包括操作系統(tǒng)中的設(shè)備驅(qū)動(dòng)程序和計(jì)算機(jī)中對(duì)應(yīng)的網(wǎng)??絡(luò)接口卡，處理物理接口的細(xì)節(jié)；網(wǎng)絡(luò)層負(fù)責(zé)處理分組選路等分組在網(wǎng)絡(luò)中的??活動(dòng)；傳輸層負(fù)責(zé)為兩臺(tái)主機(jī)上的應(yīng)用程序提供端到端的通信。傳輸控制協(xié)議??ＴＣＰ屬于傳輸層的協(xié)議，可以提供高可靠性的數(shù)據(jù)通信；應(yīng)用層負(fù)責(zé)處理特定??的應(yīng)用程序細(xì)節(jié)［１］。??如圖１－１右側(cè)所示，ＭＰＴＣＰ也屬于傳輸層的協(xié)議，可以看作是單路徑ＴＣＰ??擴(kuò)展到多路徑的多路傳輸協(xié)議。ＭＰＴＣＰ使得多網(wǎng)卡、多鏈路的資源得以充分利??用，同時(shí)提高傳輸?shù)男�率和魯棒性。ＭＰＴＣＰ使用與單路徑ＴＣＰ?—樣的ｓｏｃｋｅｔ??接口，使得能夠兼容現(xiàn)有的ＴＣＰ應(yīng)用。同時(shí)ＭＰＴＣＰ的每個(gè)子流和單路徑ＴＣＰ??流類(lèi)似

圖３－３：基于強(qiáng)化學(xué)習(xí)的ＭＰＴＣＰ擁塞控制ＳｍａｒｔＣＣ的框架??態(tài)映射到離散的狀態(tài)區(qū)域塊。所以每個(gè)狀態(tài)ｓ可以由一個(gè)狀態(tài)區(qū)域塊ｔ?＝?ｉＡ〇）??表示，該等式表示狀態(tài)區(qū)域塊Ｔ包含狀態(tài)ｓ或者狀態(tài)區(qū)域塊Ｔ被狀態(tài)ｓ激活。??因此，２函數(shù)（動(dòng)作值函數(shù)）可以表示為：２（ｒ，ａ）?＝?２（少⑷，ａ）＝Ｅ［２：ｙＶ，］，??其含義為從狀態(tài)ｓ出發(fā)，執(zhí)行動(dòng)作《后，機(jī)器能得到的累積折扣獎(jiǎng)賞的期望。??本文采用基于表格形式的Ｑ－ｌｅａｍｉｎｇ算法［３７］，來(lái)學(xué)出一個(gè)貪婪的確定性??策略?７ｒ（ａ，）?＝?ａｒｇｍａｘａ?２（少（＼），＾〇。舉例，當(dāng)?Ａ?＝?ａｒｇｍａｘａ?２（０（４），＾，那么如果??機(jī)器從狀態(tài)＾出發(fā)，執(zhí)行動(dòng)作并一直根據(jù)該策略選擇執(zhí)行動(dòng)作，機(jī)器將??會(huì)得到最大化的累積折扣獎(jiǎng)賞。訓(xùn)練器的規(guī)則表也會(huì)根據(jù)策略７Ｔ添加或更新規(guī)??則—個(gè)基于貪婪確定性策略的規(guī)則表如表３－３所示，它指定了不同狀??態(tài)下最大化累積折扣獎(jiǎng)賞的動(dòng)作。例如表３－３的第一行規(guī)則＜Ｔｌ５?Ａ?＞，第一項(xiàng)??被狀態(tài)ｈ激活的狀態(tài)區(qū)域塊ｎ?＝?（Ａｈｉ），第二項(xiàng)是基于２函數(shù)最大化的動(dòng)作??ａｘ?＝?ａｒｇｍａｘａ?Ｑ（ｉ／／（ｓｉ），ａ）〇??
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 哈渭濤;;一種新的反饋式流媒體擁塞控制算法[J];科學(xué)技術(shù)與工程;2010年05期

2 韓燮;安愛(ài)芬;;一種網(wǎng)絡(luò)擁塞控制算法的研究[J];太原大學(xué)學(xué)報(bào);2008年03期

3 王滿(mǎn)喜;胡向暉;馬刈非;;混合式的網(wǎng)絡(luò)擁塞控制算法[J];電子科技大學(xué)學(xué)報(bào);2007年03期

4 �？膳�;李紹滋;;一種基于反饋的流媒體擁塞控制算法的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2007年10期

5 楊新宇,曾明,江曉,趙瑞,吳航;一種新的自適應(yīng)網(wǎng)絡(luò)擁塞控制算法[J];計(jì)算機(jī)工程;2004年08期

6 蔣學(xué)勤,楊麗芳;網(wǎng)絡(luò)中兩類(lèi)擁塞控制算法比較[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年04期

7 熊曉將;;基于探測(cè)機(jī)制的衛(wèi)星鏈路擁塞控制算法研究[J];航天器工程;2012年05期

8 黨美瑩;歐陽(yáng);孫元姝;甄長(zhǎng)飛;;一種新的流媒體擁塞控制算法[J];小型微型計(jì)算機(jī)系統(tǒng);2011年08期

9 彭立宏;張鶴穎;姜新文;竇文華;;一種快速公平收斂的擁塞控制算法[J];電子學(xué)報(bào);2010年08期

10 劉宇蘋(píng);;基于擁塞控制算法的研究[J];武漢船舶職業(yè)技術(shù)學(xué)院學(xué)報(bào);2009年03期

相關(guān)博士學(xué)位論文 前10條

1 龍承念;高動(dòng)態(tài)異構(gòu)INTERNET擁塞控制算法研究[D];燕山大學(xué);2004年

2 錢(qián)艷平;互聯(lián)網(wǎng)擁塞控制算法若干問(wèn)題研究[D];東南大學(xué);2006年

3 楊洪勇;Internet擁塞控制算法的動(dòng)力學(xué)研究[D];東南大學(xué);2005年

4 邵立松;互聯(lián)網(wǎng)端到端擁塞控制算法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

5 陳虎;互聯(lián)網(wǎng)擁塞控制算法研究[D];華中科技大學(xué);2008年

6 胡曦;無(wú)線(xiàn)SDN穩(wěn)定性擁塞控制算法研究[D];電子科技大學(xué);2017年

7 侯萍;基于控制理論的網(wǎng)絡(luò)擁塞控制算法研究[D];南京理工大學(xué);2011年

8 楊歆豪;基于控制理論的網(wǎng)絡(luò)擁塞控制中的若干算法研究[D];南京理工大學(xué);2010年

9 任娟;無(wú)線(xiàn)Mesh網(wǎng)絡(luò)的資源分配及擁塞控制算法研究[D];北京交通大學(xué);2010年

10 何凌;TCP/IP網(wǎng)絡(luò)擁塞控制若干問(wèn)題的研究[D];東北大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 張晗;基于強(qiáng)化學(xué)習(xí)的多路徑傳輸控制協(xié)議優(yōu)化[D];南京大學(xué);2019年

2 李超君;面向?qū)崟r(shí)音視頻流的擁塞控制算法[D];北京郵電大學(xué);2019年

3 吳蕾蕾;數(shù)據(jù)驅(qū)動(dòng)的移動(dòng)視頻直播擁塞控制技術(shù)研究[D];北京郵電大學(xué);2019年

4 李洪林;異構(gòu)網(wǎng)絡(luò)中TCP擁塞控制算法的研究與改進(jìn)[D];北京郵電大學(xué);2019年

5 李少博;端到端的TCP擁塞控制算法研究[D];哈爾濱理工大學(xué);2018年

6 劉盼;基于BBR擁塞控制算法的空間環(huán)境數(shù)據(jù)傳輸系統(tǒng)[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院國(guó)家空間科學(xué)中心);2018年

7 潘俊臣;基于TCP協(xié)議的擁塞控制算法的研究[D];成都理工大學(xué);2018年

8 徐磊;基于模糊神經(jīng)網(wǎng)絡(luò)的無(wú)線(xiàn)網(wǎng)絡(luò)擁塞控制算法[D];江蘇科技大學(xué);2018年

9 湯永鋒;基于嵌入式的TCP無(wú)線(xiàn)通信設(shè)計(jì)與性能研究[D];華中科技大學(xué);2017年

10 段家琛;移動(dòng)環(huán)境下MPTCP擁塞控制算法的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

本文編號(hào)：2891344