發(fā)布時間：2020-05-17 21:42

【摘要】：深度學習在圖像識別、語音識別、機器翻譯等領域取得了巨大的成功,產生了巨大的社會和經濟效益。在內存管理方面,深度學習應用仍然使用傳統(tǒng)的內存管理方法,而傳統(tǒng)領域的內存管理只包括CPU主機內存的管理,沒有包括GPU設備內存的管理,造成管理分散,使用成本增加。傳統(tǒng)領域的內存管理為了兼顧各種應用,在深度學習應用中性能差,并且由于技術保密的原因,沒有辦法實現自主可控。迫切需要一種能夠高效管理異構內存的分配器。本論文針對深度學習應用,設計和開發(fā)了一個管理異構內存的內存分配器,取名為MADL(memory allocator for Deep Learning)。包括了對CPU主機內存的管理和對GPU設備內存的管理,提供了統(tǒng)一的接口,屏蔽了不同內存的差異,使用戶不需要掌握太多底層細節(jié)的情況下就能夠使用。同時,MADL結合實際的深度學習應用使用大內存對象的特征,優(yōu)化了對大內存對象的管理,并采用內存池技術在用戶態(tài)實現對內存的管理,大大提高了內存分配的效率。經過權衡采用首次適應法來管理內存,面對首次適應法尋找合適的空閑內存需要線性查找,通過建立簡單索引大幅度的減少了空閑內存塊的查找的時間,提升了分配性能。MADL可以運行在Windows,類Unix,Android等操作系統(tǒng)上,可移植性非常好。并且設計和實現了全新的異構內存管理的架構,該架構具有良好的穩(wěn)定性和可維護性。測試發(fā)現相比于傳統(tǒng)的內存管理器,在分配時間上,MADL在CPU主機內存的分配和回收速度上提升了15~20%,而在GPU設備內存的分配和回收上則提升了17~30%;在內存使用率上,MADL在CPU主機內存使用率提升了2~5%,在GPU設備內存的使用率上則提升了10~20%�？傮w而言,MADL的性能優(yōu)于傳統(tǒng)分配器,達到了設計目標。
【圖文】：

使用資源必須向核心態(tài)申請，應用程序代碼運行在用戶態(tài)。如圖2-1 所示，用戶態(tài)程序進入核心態(tài)可以通過系統(tǒng)調用、中斷、信號等，但是用戶態(tài)和核心態(tài)的切換十分耗時，所以往往避免直接使用系統(tǒng)調用，而是通過庫的形式對系統(tǒng)調用進行包裝，減少系統(tǒng)調用的次數。通過段、頁機制每個程序都會有自己的地址空間，往往會把內核態(tài)地址映射成自己地址空間的一部分。32位機器上，，在 Linux 系統(tǒng)中核心態(tài)占據 1GB 的虛擬內存而用戶態(tài)占據其余的3GB 內存，Windows 系統(tǒng)中內核態(tài)則占據 2GB。在 64 位機器上，因為有更大的地址空間，核心態(tài)所占用的內存要遠大于 32 位機器上所占內存。

如圖2-2 所示，下面將分別簡要介紹。代碼段：又稱正文段，就是程序中的可執(zhí)行部分存放的內存區(qū)域，直觀理解代碼段就是函數堆加組成的。代碼段可以被多個程序共享，代碼段為只讀不能被修改。初始化的數據段：也被稱為數據段、靜態(tài)數據區(qū)、靜態(tài)區(qū)，它包含了程序中需要明確地賦初值的變量。數據段還可以進一步分為只讀數據段和可讀寫數據段，比如數據段中的字符串常量就是只讀的。未初始化的數據段：未初始化的數據段經常被稱作 BSS 段，意思是“由符號開始的塊”（block started by symbol）。BSS 段的特點就是被初始化為 0 或者空指針，BSS 段本質上也是屬于數據段，BSS 段就是被初始化為 0 的數據段。但是在程序中沒有被保存，在程序運行時動態(tài)的分配空間。堆空間：堆空間是動態(tài)內存申請的內存塊所在的位置。堆空間的起始位置在 BBS 段的末尾，向高地址空間擴展。Linux 上堆空間可以通過系統(tǒng)調用 brk來向上擴展。在多線程情況下,堆空間是被共享的，每個線程都能夠訪問堆空間。棧空間：棧是一種先進后出的數據結構，棧空間先分配到的內存則最后釋放。棧空間的棧底一般在高地址空間，棧頂和堆空間連接在一起的,然而增長方向和堆空間剛好是相反的。堆是向上擴展
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333;TP18

【參考文獻】

相關期刊論文 前3條

1 何煦嵐;何曉嵐;;基于多鏈表結構的嵌入式系統(tǒng)內存管理[J];計算機應用與軟件;2008年04期

2 劉磊;;Linux內核內存池實現研究[J];科學技術與工程;2007年12期

3 張瓊聲;劉冬萍;;操作系統(tǒng)內核內存分配算法的分析與性能評價[J];計算機系統(tǒng)應用;2007年01期

相關博士學位論文 前1條

1 李小強;CPU-GPU異構系統(tǒng)上的高層編程模型及其編譯優(yōu)化技術[D];中國科學技術大學;2013年

相關碩士學位論文 前1條

1 婁云龍;用戶態(tài)內存管理關鍵技術研究[D];哈爾濱工程大學;2014年

本文編號：2669224