基于集群環(huán)境的作業(yè)管理中間件的設(shè)計與實現(xiàn)
發(fā)布時間：2020-12-13 09:59
集群作業(yè)管理系統(tǒng)作為高性能計算領(lǐng)域的核心技術(shù),伴隨著計算機技術(shù)的發(fā)展進(jìn)步逐漸成為了計算機學(xué)科的熱點研究領(lǐng)域。然而,傳統(tǒng)作業(yè)管理系統(tǒng)大多需要以命令行的方式進(jìn)行管理,用戶需要熟練掌握多種調(diào)度器命令。本文就這些存在的問題,提出了基于Web架構(gòu)的集群管理中間件,來實現(xiàn)降低用戶門檻和提高集群利用率的目標(biāo)。通過對幾種比較成熟的集群作業(yè)管理系統(tǒng)架構(gòu)進(jìn)行了深入分析,并且以SLURM作業(yè)調(diào)度器為例,對其體系結(jié)構(gòu)、作業(yè)執(zhí)行過程做了重點研究。在此基礎(chǔ)上,對集群作業(yè)管理中間件系統(tǒng)進(jìn)行了全面的需求分析,并確定了實現(xiàn)該系統(tǒng)所需應(yīng)用的關(guān)鍵技術(shù),最終設(shè)計和實現(xiàn)了該作業(yè)管理中間件系統(tǒng)。除上述主要工作外,本文還針對傳統(tǒng)作業(yè)管理系統(tǒng)做出了部分優(yōu)化工作,主要是通過該中間件系統(tǒng)實現(xiàn)了集群管理、作業(yè)管理、資源監(jiān)控、記賬管理、日志管理等基本功能,還實現(xiàn)了管理員對集群架構(gòu)、集群節(jié)點控制、用戶管理等高級功能。這些功能優(yōu)化使得管理員可以輕松管理整個集群,也為用戶提交任務(wù)提供了統(tǒng)一透明的方式。本文針對SLURM作業(yè)管理系統(tǒng)做出的研究和優(yōu)化,為用戶提供了方便友好的操作方式,極大的提高了用戶及管理員的工作效率,簡化了集群的管理工作。
【文章來源】：北京工業(yè)大學(xué)北京市 211工程院校
【文章頁數(shù)】：69 頁
【學(xué)位級別】：碩士
【部分圖文】：
技術(shù)架構(gòu)圖
先在四臺服務(wù)器節(jié)點上全新安裝 CentOS 7.2 操作系統(tǒng)，并選擇開使用的軟件，分配各服務(wù)器的用途，并修改 hostname、網(wǎng)卡信息文件等配置，調(diào)整為默認(rèn)文本登陸模式。所有服務(wù)器節(jié)點創(chuàng)建固定 UID 和 GID 的獨立用戶以供 SLURM 和 MU，需要注意在四臺服務(wù)器上建立用戶的 UID 和 GID 是完全一致的通信異常，同時要注意用戶的目錄權(quán)限，并配置用戶的環(huán)境變量下來需要安裝 MUNGE 程序軟件，本文是通過 yum 源的方式安裝，因依賴環(huán)境的問題造成的安裝故障，同時不需要特殊配置，默認(rèn)意此操作需要在所有服務(wù)器節(jié)點上進(jìn)行。待所有節(jié)點均安裝成功點上通過 MUNGE 命令 create-munge-key 創(chuàng)建一個通信密鑰（此操um 源安裝 rng-tools 來提供加密算法支持），對創(chuàng)造的密鑰的權(quán)并拷貝給其他節(jié)點的相應(yīng)目錄下，此時再賦予 MUNGE 相應(yīng)目錄特改所有 MUNGE 相關(guān)目錄的所有者為提前準(zhǔn)備的用戶并啟動 MUNGE 過 munge -n | ssh 節(jié)點 IP/域名 unmunge 等命令來測試節(jié)點間通試通過的情況如圖 5-1 所示。
第 5 章 集群作業(yè)管理中間件系統(tǒng)的實現(xiàn)2）提取的安裝程序為 RPM 包形式，保存在/root/rpmbuild/RPMS。用 SLURM 官方提供的在線配置工具生成配置文件，需要配置的信群名稱、管理節(jié)點 hostname 及 IP、所有節(jié)點信息、SLURM 管理和目錄等，尤其是節(jié)點信息要根據(jù)各服務(wù)器的配置情況進(jìn)行填寫，點和計算節(jié)點，通過 Scp 等命令將生成的配置文件傳輸?shù)娇刂乒?jié)節(jié)點相應(yīng)目錄下。接下來，創(chuàng)建 SLURM 管理和用戶日志存放目錄，修改目錄權(quán)限，并修改所有 SLURM 相關(guān)目錄的所有者為提前準(zhǔn)后通過命令行在各節(jié)點啟動 SLURMd 服務(wù)，在管理節(jié)點上啟動 SLUSLURM 提供了 sinfo 命令來查看集群的分區(qū)和節(jié)點信息來驗證安裝該命令可以在任意節(jié)點上執(zhí)行，同時該命令也在用戶提交任務(wù)時證通過的情況如圖 5-2 所示。
【參考文獻(xiàn)】：
期刊論文
[1]高性能計算集群系統(tǒng)建設(shè)與運行管理研究[J]. 孟玲玲. 軟件導(dǎo)刊. 2017(03)
[2]基于Linux的高性能計算集群MPI并行環(huán)境配置研究[J]. 金能智,者建武,李唐艷,孫一桐. 科技創(chuàng)新導(dǎo)報. 2017(03)
[3]面向Web的高性能計算集群作業(yè)調(diào)度系統(tǒng)[J]. 李薛劍,蘇素,梁瑞,陳仕綺. 電腦知識與技術(shù). 2016(27)
[4]基于節(jié)點集計算能力差異的Hadoop自適應(yīng)任務(wù)調(diào)度算法[J]. 朱潔,李雯睿,王江平,趙紅. 計算機應(yīng)用. 2016(04)
[5]面向集群環(huán)境的虛擬化GPU計算平臺[J]. 楊經(jīng)緯,馬凱,龍翔. 北京航空航天大學(xué)學(xué)報. 2016(11)
[6]云及高性能計算集群環(huán)境中配置管理系統(tǒng)設(shè)計[J]. 趙春燕,孫婧,魏敏. 計算技術(shù)與自動化. 2016(01)
[7]異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略[J]. 楊志偉,鄭烇,王嵩,楊堅,周樂樂. 計算機工程. 2016(01)
[8]基于虛擬化集群的核設(shè)計平臺作業(yè)調(diào)度系統(tǒng)研究與實現(xiàn)[J]. 姚建凡,管宇,王一楠,陳俊. 計算機與數(shù)字工程. 2015(10)
[9]海南大學(xué) 高性能計算與云計算平臺融合[J]. 李文化,陳討海. 中國教育網(wǎng)絡(luò). 2015(10)
[10]基于ExtJs的集群作業(yè)調(diào)度策略配置系統(tǒng)的設(shè)計與實現(xiàn)[J]. 王小龍,劉光明,趙志威. 工業(yè)儀表與自動化裝置. 2015(03)
碩士論文
[1]服務(wù)器集群監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D]. 朱瑞斌.北京交通大學(xué) 2015
本文編號：2914364
【文章來源】：北京工業(yè)大學(xué)北京市 211工程院校
【文章頁數(shù)】：69 頁
【學(xué)位級別】：碩士
【部分圖文】：
技術(shù)架構(gòu)圖
先在四臺服務(wù)器節(jié)點上全新安裝 CentOS 7.2 操作系統(tǒng)，并選擇開使用的軟件，分配各服務(wù)器的用途，并修改 hostname、網(wǎng)卡信息文件等配置，調(diào)整為默認(rèn)文本登陸模式。所有服務(wù)器節(jié)點創(chuàng)建固定 UID 和 GID 的獨立用戶以供 SLURM 和 MU，需要注意在四臺服務(wù)器上建立用戶的 UID 和 GID 是完全一致的通信異常，同時要注意用戶的目錄權(quán)限，并配置用戶的環(huán)境變量下來需要安裝 MUNGE 程序軟件，本文是通過 yum 源的方式安裝，因依賴環(huán)境的問題造成的安裝故障，同時不需要特殊配置，默認(rèn)意此操作需要在所有服務(wù)器節(jié)點上進(jìn)行。待所有節(jié)點均安裝成功點上通過 MUNGE 命令 create-munge-key 創(chuàng)建一個通信密鑰（此操um 源安裝 rng-tools 來提供加密算法支持），對創(chuàng)造的密鑰的權(quán)并拷貝給其他節(jié)點的相應(yīng)目錄下，此時再賦予 MUNGE 相應(yīng)目錄特改所有 MUNGE 相關(guān)目錄的所有者為提前準(zhǔn)備的用戶并啟動 MUNGE 過 munge -n | ssh 節(jié)點 IP/域名 unmunge 等命令來測試節(jié)點間通試通過的情況如圖 5-1 所示。
第 5 章 集群作業(yè)管理中間件系統(tǒng)的實現(xiàn)2）提取的安裝程序為 RPM 包形式，保存在/root/rpmbuild/RPMS。用 SLURM 官方提供的在線配置工具生成配置文件，需要配置的信群名稱、管理節(jié)點 hostname 及 IP、所有節(jié)點信息、SLURM 管理和目錄等，尤其是節(jié)點信息要根據(jù)各服務(wù)器的配置情況進(jìn)行填寫，點和計算節(jié)點，通過 Scp 等命令將生成的配置文件傳輸?shù)娇刂乒?jié)節(jié)點相應(yīng)目錄下。接下來，創(chuàng)建 SLURM 管理和用戶日志存放目錄，修改目錄權(quán)限，并修改所有 SLURM 相關(guān)目錄的所有者為提前準(zhǔn)后通過命令行在各節(jié)點啟動 SLURMd 服務(wù)，在管理節(jié)點上啟動 SLUSLURM 提供了 sinfo 命令來查看集群的分區(qū)和節(jié)點信息來驗證安裝該命令可以在任意節(jié)點上執(zhí)行，同時該命令也在用戶提交任務(wù)時證通過的情況如圖 5-2 所示。
【參考文獻(xiàn)】：
期刊論文
[1]高性能計算集群系統(tǒng)建設(shè)與運行管理研究[J]. 孟玲玲. 軟件導(dǎo)刊. 2017(03)
[2]基于Linux的高性能計算集群MPI并行環(huán)境配置研究[J]. 金能智,者建武,李唐艷,孫一桐. 科技創(chuàng)新導(dǎo)報. 2017(03)
[3]面向Web的高性能計算集群作業(yè)調(diào)度系統(tǒng)[J]. 李薛劍,蘇素,梁瑞,陳仕綺. 電腦知識與技術(shù). 2016(27)
[4]基于節(jié)點集計算能力差異的Hadoop自適應(yīng)任務(wù)調(diào)度算法[J]. 朱潔,李雯睿,王江平,趙紅. 計算機應(yīng)用. 2016(04)
[5]面向集群環(huán)境的虛擬化GPU計算平臺[J]. 楊經(jīng)緯,馬凱,龍翔. 北京航空航天大學(xué)學(xué)報. 2016(11)
[6]云及高性能計算集群環(huán)境中配置管理系統(tǒng)設(shè)計[J]. 趙春燕,孫婧,魏敏. 計算技術(shù)與自動化. 2016(01)
[7]異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略[J]. 楊志偉,鄭烇,王嵩,楊堅,周樂樂. 計算機工程. 2016(01)
[8]基于虛擬化集群的核設(shè)計平臺作業(yè)調(diào)度系統(tǒng)研究與實現(xiàn)[J]. 姚建凡,管宇,王一楠,陳俊. 計算機與數(shù)字工程. 2015(10)
[9]海南大學(xué) 高性能計算與云計算平臺融合[J]. 李文化,陳討海. 中國教育網(wǎng)絡(luò). 2015(10)
[10]基于ExtJs的集群作業(yè)調(diào)度策略配置系統(tǒng)的設(shè)計與實現(xiàn)[J]. 王小龍,劉光明,趙志威. 工業(yè)儀表與自動化裝置. 2015(03)
碩士論文
[1]服務(wù)器集群監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D]. 朱瑞斌.北京交通大學(xué) 2015
本文編號：2914364
本文鏈接：http://www.lk138.cn/guanlilunwen/yunyingzuzhiguanlilunwen/2914364.html
最近更新
教材專著
