發(fā)布時(shí)間：2024-07-05 02:11

　　當(dāng)今社會(huì),科技發(fā)展迅猛,各行各業(yè)的應(yīng)用“互聯(lián)網(wǎng)+”的規(guī)模越來越大,各行各業(yè)在應(yīng)用中產(chǎn)生的數(shù)據(jù)呈噴井式的增長(zhǎng)。很多行業(yè)應(yīng)用產(chǎn)生的數(shù)據(jù)已經(jīng)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)企業(yè)的數(shù)據(jù)處理能力。然而對(duì)于許多企業(yè)來說,如何使用這些海量數(shù)據(jù)集是未來發(fā)展中取勝的重要因素。所以企業(yè)迫切需要應(yīng)用大數(shù)據(jù)分析技術(shù),去發(fā)現(xiàn)這些數(shù)據(jù)隱藏的規(guī)律,然后利用這些規(guī)律和分析幫助它們最大化的去壓縮成本、提高轉(zhuǎn)化率和工作效率、做出更加正確的選擇等。隨著用戶增加和平臺(tái)的發(fā)展,需求會(huì)越來越多,平臺(tái)的需要不停地進(jìn)行擴(kuò)展。顯然單體應(yīng)用的架構(gòu)并不能適應(yīng)業(yè)務(wù)發(fā)展的需要。本文在Spark+R的雙計(jì)算引擎和Hadoop集群基礎(chǔ)上,通過搭建一個(gè)基于微服務(wù)的大數(shù)據(jù)分析平臺(tái),既能滿足為企業(yè)提供一站式分析的需要,又使系統(tǒng)具備易擴(kuò)展、可用性,符合迅捷開發(fā)的要求。本文的工作主要包含以下幾個(gè)方面:首先描述了大數(shù)據(jù)分析平臺(tái)需要實(shí)現(xiàn)的目標(biāo)和要解決的問題,針對(duì)需要解決的問題,進(jìn)行了數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分析、數(shù)據(jù)可視化的功能性需求分析、以及非功能性需求分析和微服務(wù)架構(gòu)需求分析。然后,根據(jù)所做的需求分析對(duì)系統(tǒng)進(jìn)行了架構(gòu)設(shè)計(jì),完成了系統(tǒng)邏輯架構(gòu)、技術(shù)架構(gòu)、功能架構(gòu)的設(shè)計(jì),以及系統(tǒng)的主要流...

【文章頁(yè)數(shù)】：101 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖4-1應(yīng)用行為分析平臺(tái)架構(gòu)

中國(guó)石油大學(xué)（華東）全日制工程碩士學(xué)位論文35第四章基于微服務(wù)架構(gòu)的行為分析大數(shù)據(jù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)4.1應(yīng)用行為分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)4.1.1系統(tǒng)總體架構(gòu)根據(jù)應(yīng)用系統(tǒng)部署分散的特點(diǎn)，設(shè)計(jì)應(yīng)用行為分析平臺(tái)架構(gòu)如圖4-1所示。應(yīng)用行為分析平臺(tái)主要由數(shù)據(jù)收集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)處理層、數(shù)....

圖4-2應(yīng)用日志數(shù)據(jù)收集流程

第四章基于微服務(wù)架構(gòu)的行為分析大數(shù)據(jù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)36數(shù)據(jù)可視化層：用于分析結(jié)果的圖表的可視化展示。其中數(shù)據(jù)的圖形化展示基于Echarts[72]可視化插件來完成，圖表的數(shù)據(jù)通過報(bào)表程序模塊來完成。4.1.2應(yīng)用數(shù)據(jù)收集方案在分析應(yīng)用業(yè)務(wù)之前，需要收集相關(guān)數(shù)據(jù)。根據(jù)業(yè)務(wù)現(xiàn)狀和調(diào)研....

圖4-6數(shù)據(jù)處理分析流程

第四章基于微服務(wù)架構(gòu)的行為分析大數(shù)據(jù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)40過程直到數(shù)據(jù)格式滿足運(yùn)行算法的基本要求。第三步：用戶在對(duì)數(shù)據(jù)就行預(yù)處理分析完成后，可以選擇相應(yīng)分析算法進(jìn)一步查看分析結(jié)構(gòu)，因此該模塊將SparkMLlib的常用算法進(jìn)行了封裝，方便用戶快速使用各種算法來分析。通時(shí)系統(tǒng)還支持自定....

圖4-9訪問設(shè)備信息展示Fig4-9Accesstotheequipmentinformationdisplay

第四章基于微服務(wù)架構(gòu)的行為分析大數(shù)據(jù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)42行重新架構(gòu)，使其能適應(yīng)移動(dòng)辦公業(yè)務(wù)的需求。其中操作系統(tǒng)信息和IE信息用于提供的占比用于為以后的應(yīng)用擴(kuò)展、兼容性等因素提供指標(biāo)依據(jù)。圖4-9訪問設(shè)備信息展示Fig4-9Accesstotheequipmentinformatio....

本文編號(hào)：4000876