基于DALiuGE計(jì)算框架的w項(xiàng)改正算法并行優(yōu)化
發(fā)布時(shí)間:2020-12-22 12:37
平方公里陣(Square Kilometre Array,SKA)將成為國(guó)際上最大的綜合孔徑射電望遠(yuǎn)鏡,SKA作為下一代的射電望遠(yuǎn)鏡,以大視場(chǎng)、多波束、高動(dòng)態(tài)、高分辨和大數(shù)據(jù)為核心概念,將顛覆射電天文學(xué)的傳統(tǒng)研究手段,帶來(lái)全新和革命性的天文學(xué)研究理念。本文分析了SKA的總體結(jié)構(gòu)設(shè)計(jì),觀測(cè)數(shù)據(jù)的獲取以及采樣與成像過(guò)程,以及SKA海量觀測(cè)數(shù)據(jù)實(shí)時(shí)處理的特點(diǎn)的基礎(chǔ)下,對(duì)基于目前SKA采用的一個(gè)分布式計(jì)算框架DALiuGE中w項(xiàng)改正算法的實(shí)現(xiàn)進(jìn)行了研究,為滿(mǎn)足SKA后續(xù)實(shí)驗(yàn)工作的開(kāi)展。具體內(nèi)容如下:1.面向SKA科學(xué)大數(shù)據(jù)的分布式處理需求,分析調(diào)研了射電干涉陣的數(shù)據(jù)獲取和處理流程,對(duì)綜合孔徑成像原理,大視場(chǎng)成像w項(xiàng)問(wèn)題進(jìn)行了細(xì)致研究,對(duì)當(dāng)前DALiuGE計(jì)算框架的開(kāi)發(fā)方法進(jìn)行了學(xué)習(xí)與實(shí)驗(yàn)。2.針對(duì)SKA大視場(chǎng)、高動(dòng)態(tài)、高分辨率成像的獨(dú)特要求,重點(diǎn)對(duì)大視場(chǎng)射電干涉陣成像關(guān)鍵技術(shù)展開(kāi)了研究,對(duì)Faceting算法進(jìn)行了深入的研究,實(shí)現(xiàn)算法并初步完成測(cè)試。3.在工作二的基礎(chǔ)上,根據(jù)SKA科學(xué)數(shù)據(jù)處理器工作包(SDP)的要求,進(jìn)一步將Faceting算法封裝為DROP,在DALiuGE框架下運(yùn)行實(shí)現(xiàn)。...
【文章來(lái)源】:昆明理工大學(xué)云南省
【文章頁(yè)數(shù)】:61 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
DALiuGE框架和管道生命周期的不同階段在開(kāi)發(fā)期間,Drops[37]
圖 2.2 Drop 的開(kāi)發(fā)所在開(kāi)發(fā) DALiuGE 中,我們通過(guò)數(shù)據(jù)生命周期管理,圖形執(zhí)行引擎和成本優(yōu)置整合成 個(gè)連貫的數(shù)據(jù)驅(qū)動(dòng)的框架,來(lái)延伸“傳統(tǒng)”的數(shù)據(jù)流模型。我們已的數(shù)據(jù)流模型做了修改:模型數(shù)據(jù)作為節(jié)點(diǎn)、參與者,可以管理自己的生命周期,觸發(fā)相應(yīng)的“用戶(hù)”狀態(tài)。在這里的應(yīng)用和數(shù)據(jù)節(jié)點(diǎn)都稱(chēng)為 DROPs。所有的狀態(tài)信息被保存在 DROP 包,而 DROPs 的有效負(fù)載,即管道組件的算,都是無(wú)狀態(tài)的。DROP 是透明的底層圖/數(shù)據(jù)流的執(zhí)行引擎,使數(shù)據(jù)驅(qū)動(dòng)框架有良好的數(shù)據(jù)流系用程序級(jí)和靈活性表現(xiàn)力。最后,區(qū)分 2 種數(shù)據(jù)流圖-邏輯圖和物理圖。前者提供計(jì)算抽象在 個(gè)資源無(wú)關(guān)的方式更高的水平。后者表示以滿(mǎn)足最低的成本性能的實(shí)際執(zhí)行計(jì)劃,要求映射到 組給定的硬件
由于觀測(cè)距離遙遠(yuǎn), 1 l2m2~1可以假設(shè)視場(chǎng)近(或切平面),因此式中相位項(xiàng)ω( 1 l2m21)(稱(chēng)之為ω項(xiàng)函數(shù)可以簡(jiǎn)化為2 可以看出,可見(jiàn)度函數(shù)和目標(biāo)源亮度分布成傅里葉變換關(guān)系函數(shù),即可獲得目標(biāo)源的亮度分布?梢钥闯 n = 1 即是二維傅里葉變換成像的條件,因此當(dāng)采用時(shí),產(chǎn)生的誤差ε表示為 w(n 1),這個(gè)誤差的相位表示 2 21),可以進(jìn) 步近似的表示為: ~ ( 2m2) edldmlmIlmV(u,v)julvm 2()221(,)
【參考文獻(xiàn)】:
期刊論文
[1]基于Spark Streaming的明安圖射電頻譜日像儀實(shí)時(shí)數(shù)據(jù)處理[J]. 衛(wèi)守林,劉鵬翔,王鋒,鄧輝,梁波,戴偉. 天文研究與技術(shù). 2017(04)
[2]低頻射電望遠(yuǎn)鏡陣列寬視場(chǎng)成像技術(shù)研究[J]. 勞保強(qiáng),安濤,陳驍,伍筱聰,陸揚(yáng). 天文學(xué)報(bào). 2017(05)
[3]上海65米射電望遠(yuǎn)鏡[J]. 沈志強(qiáng). 科學(xué). 2013(03)
[4]世界最大射電望遠(yuǎn)鏡陣列將揭示眾多宇宙謎團(tuán)[J]. 楊孝文. 太空探索. 2012(02)
[5]干涉成像,顯微宇宙[J]. 周建鋒,蘇彥,曹萌,姚浩田,高強(qiáng). 自然雜志. 2011(06)
[6]關(guān)于太陽(yáng)厘米—分米波段頻譜日像儀研究進(jìn)展[J]. 顏毅華,張堅(jiān),陳志軍,姬國(guó)樞,王威,劉飛. 天文研究與技術(shù).國(guó)家天文臺(tái)臺(tái)刊. 2006(02)
本文編號(hào):2931782
【文章來(lái)源】:昆明理工大學(xué)云南省
【文章頁(yè)數(shù)】:61 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
DALiuGE框架和管道生命周期的不同階段在開(kāi)發(fā)期間,Drops[37]
圖 2.2 Drop 的開(kāi)發(fā)所在開(kāi)發(fā) DALiuGE 中,我們通過(guò)數(shù)據(jù)生命周期管理,圖形執(zhí)行引擎和成本優(yōu)置整合成 個(gè)連貫的數(shù)據(jù)驅(qū)動(dòng)的框架,來(lái)延伸“傳統(tǒng)”的數(shù)據(jù)流模型。我們已的數(shù)據(jù)流模型做了修改:模型數(shù)據(jù)作為節(jié)點(diǎn)、參與者,可以管理自己的生命周期,觸發(fā)相應(yīng)的“用戶(hù)”狀態(tài)。在這里的應(yīng)用和數(shù)據(jù)節(jié)點(diǎn)都稱(chēng)為 DROPs。所有的狀態(tài)信息被保存在 DROP 包,而 DROPs 的有效負(fù)載,即管道組件的算,都是無(wú)狀態(tài)的。DROP 是透明的底層圖/數(shù)據(jù)流的執(zhí)行引擎,使數(shù)據(jù)驅(qū)動(dòng)框架有良好的數(shù)據(jù)流系用程序級(jí)和靈活性表現(xiàn)力。最后,區(qū)分 2 種數(shù)據(jù)流圖-邏輯圖和物理圖。前者提供計(jì)算抽象在 個(gè)資源無(wú)關(guān)的方式更高的水平。后者表示以滿(mǎn)足最低的成本性能的實(shí)際執(zhí)行計(jì)劃,要求映射到 組給定的硬件
由于觀測(cè)距離遙遠(yuǎn), 1 l2m2~1可以假設(shè)視場(chǎng)近(或切平面),因此式中相位項(xiàng)ω( 1 l2m21)(稱(chēng)之為ω項(xiàng)函數(shù)可以簡(jiǎn)化為2 可以看出,可見(jiàn)度函數(shù)和目標(biāo)源亮度分布成傅里葉變換關(guān)系函數(shù),即可獲得目標(biāo)源的亮度分布?梢钥闯 n = 1 即是二維傅里葉變換成像的條件,因此當(dāng)采用時(shí),產(chǎn)生的誤差ε表示為 w(n 1),這個(gè)誤差的相位表示 2 21),可以進(jìn) 步近似的表示為: ~ ( 2m2) edldmlmIlmV(u,v)julvm 2()221(,)
【參考文獻(xiàn)】:
期刊論文
[1]基于Spark Streaming的明安圖射電頻譜日像儀實(shí)時(shí)數(shù)據(jù)處理[J]. 衛(wèi)守林,劉鵬翔,王鋒,鄧輝,梁波,戴偉. 天文研究與技術(shù). 2017(04)
[2]低頻射電望遠(yuǎn)鏡陣列寬視場(chǎng)成像技術(shù)研究[J]. 勞保強(qiáng),安濤,陳驍,伍筱聰,陸揚(yáng). 天文學(xué)報(bào). 2017(05)
[3]上海65米射電望遠(yuǎn)鏡[J]. 沈志強(qiáng). 科學(xué). 2013(03)
[4]世界最大射電望遠(yuǎn)鏡陣列將揭示眾多宇宙謎團(tuán)[J]. 楊孝文. 太空探索. 2012(02)
[5]干涉成像,顯微宇宙[J]. 周建鋒,蘇彥,曹萌,姚浩田,高強(qiáng). 自然雜志. 2011(06)
[6]關(guān)于太陽(yáng)厘米—分米波段頻譜日像儀研究進(jìn)展[J]. 顏毅華,張堅(jiān),陳志軍,姬國(guó)樞,王威,劉飛. 天文研究與技術(shù).國(guó)家天文臺(tái)臺(tái)刊. 2006(02)
本文編號(hào):2931782
本文鏈接:http://www.lk138.cn/kejilunwen/tianwen/2931782.html
最近更新
教材專(zhuān)著