發(fā)布時間：2020-12-20 19:17

　　在大數(shù)據(jù)時代,各項業(yè)務(wù)服務(wù)為保證健康狀況或挖掘深層價值,普遍存在基于相關(guān)日志進(jìn)行分析的場景需求。面對源源不斷產(chǎn)生且呈指數(shù)增長的海量日志數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)處理和分析技術(shù)在計算和查詢業(yè)務(wù)上往往無法滿足特定性能要求。分布式并行化的大數(shù)據(jù)技術(shù)可充分發(fā)揮多機多核的硬件資源,在日志業(yè)務(wù)分析領(lǐng)域逐漸受到了學(xué)術(shù)界和工業(yè)界的青睞。首先,日志數(shù)據(jù)通常具有時序性和流式特點,且具有確定的屬性意義,其次,在業(yè)務(wù)流程構(gòu)建中,業(yè)務(wù)處理的階段性和關(guān)聯(lián)性在底層可體現(xiàn)任務(wù)流及數(shù)據(jù)流的對應(yīng)關(guān)系,此外,大數(shù)據(jù)工程的敏捷開發(fā)和生產(chǎn)部署,一直是組織或企業(yè)最關(guān)心的問題和難題之一。為了對海量日志數(shù)據(jù)進(jìn)行高效處理和管理,并快速構(gòu)建具體業(yè)務(wù)應(yīng)用,出于性能和和通用性的考慮,本文基于分布式計算框架Spark設(shè)計并實現(xiàn)了面向日志大數(shù)據(jù)分析的業(yè)務(wù)服務(wù)系統(tǒng),并著重從如下工作進(jìn)行研究和設(shè)計:(1)根據(jù)日志產(chǎn)生、接入和處理特點,對系統(tǒng)架構(gòu)進(jìn)行分層構(gòu)建,并設(shè)計了低耦合和支持分布式服務(wù)的DSService、SparkServer和MonitorServer三大功能模塊。系統(tǒng)通過架構(gòu)各層、各功能模塊及服務(wù)間通信和調(diào)用方式的設(shè)計,支持任務(wù)流或工作流管理和調(diào)度,... 

【文章來源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：113 頁

【學(xué)位級別】：碩士

【部分圖文】：

大數(shù)據(jù)代表SQL引擎得分趨勢

第二章 大數(shù)據(jù)系統(tǒng)架構(gòu)及關(guān)鍵技術(shù)數(shù)據(jù)處理架構(gòu)模型數(shù)據(jù)通常表現(xiàn)為無界流式的特點，實時性要求較高的業(yè)務(wù)通常采用流實時要求較低的場景，則采用傳統(tǒng)的批處理方式。流式日志處理往往測性、魯棒性和可擴展性支持。bda 架構(gòu)[59]將計算部分分為加速層和批處理層，用于構(gòu)建基于 MapRe（如 Storm）的應(yīng)用，并服務(wù)于流式數(shù)據(jù)接入和查詢，是經(jīng)典的流式圖 2-2 所示。

服務(wù)注冊與消費

【參考文獻(xiàn)】：
期刊論文
[1]An Online Visualization System for Streaming Log Data of Computing Clusters[J]. Jing Xia,Feiran Wu,Fangzhou Guo,Cong Xie,Zhen Liu,Wei Chen.  Tsinghua Science and Technology. 2013(02)

博士論文
[1]大數(shù)據(jù)處理技術(shù)與系統(tǒng)研究[D]. 顧榮.南京大學(xué) 2016



本文編號：2928408