隨著各種新興互聯(lián)網(wǎng)技術(shù)的發(fā)展,數(shù)據(jù)體量呈現(xiàn)出指數(shù)型增長(zhǎng)。數(shù)據(jù)的不斷累積,使得企業(yè)現(xiàn)有業(yè)務(wù)平臺(tái)面臨著性能不足、資源花費(fèi)過(guò)多等問(wèn)題,已無(wú)法較好的滿足高性能、高并發(fā)的需求。而大數(shù)據(jù)平臺(tái)存儲(chǔ)容量巨大且支持大規(guī)模數(shù)據(jù)的復(fù)雜計(jì)算,能夠?qū)?shù)據(jù)進(jìn)行更深層次的價(jià)值分析,因此把一些存在價(jià)值的歷史數(shù)據(jù)遷移到大數(shù)據(jù)平臺(tái)十分有必要,不僅可以緩解現(xiàn)有業(yè)務(wù)平臺(tái)的生產(chǎn)壓力,還可以發(fā)掘新的業(yè)務(wù)方向。本文結(jié)合某世界前五百?gòu)?qiáng)通信企業(yè)的實(shí)際需求,設(shè)計(jì)實(shí)現(xiàn)了一個(gè)將數(shù)據(jù)從Teradata數(shù)據(jù)庫(kù)遷移至Hadoop平臺(tái)并自動(dòng)存儲(chǔ)歸檔的數(shù)據(jù)遷移系統(tǒng)。本系統(tǒng)針對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的特征,設(shè)計(jì)實(shí)施了兩種不同的遷移方案,即基于MapReduce的結(jié)構(gòu)化數(shù)據(jù)遷移和基于FTP方式的非結(jié)構(gòu)化數(shù)據(jù)遷移。與現(xiàn)有遷移工具相比,本系統(tǒng)能夠完成一些特定需求,例如按業(yè)務(wù)邏輯清洗數(shù)據(jù)、回傳部分?jǐn)?shù)據(jù)等,并且只需在遷移任務(wù)開(kāi)始前配置好相關(guān)參數(shù),便能夠自動(dòng)實(shí)現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)類(lèi)型轉(zhuǎn)換、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)加載、數(shù)據(jù)回傳等一系列流程。最后根據(jù)業(yè)務(wù)邏輯和調(diào)度周期的不同,選擇不同的數(shù)據(jù)格式,存儲(chǔ)在Hadoop平臺(tái)不同的層級(jí)。經(jīng)過(guò)測(cè)試,本系統(tǒng)各個(gè)功能滿足預(yù)期設(shè)計(jì)目標(biāo),具...

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１數(shù)據(jù)遷移系統(tǒng)流程圖（Ｔｅｒａｄａｔａ到Ｈａｄｏｏｐ）??

?山東大學(xué)碩士學(xué)位論文???主要功能和流程如圖２－１。??ｒ￣＾?ｒ￣＾????????????????＞????Ｔｉｊａｉａ?－？數(shù)據(jù)抽�。珨�(shù)據(jù)溝洗—數(shù)賺數(shù)雛驗(yàn)？數(shù)據(jù)臓—？Ｈａｄｏ叩??數(shù)據(jù)庫(kù)?｜丨?［＿＿?１丨?平臺(tái)???數(shù)鮰傳???圖２－１數(shù)據(jù)遷移系統(tǒng)流程圖（Ｔｅｒａｄａｔ....

圖２－２系統(tǒng)業(yè)務(wù)架構(gòu)圖??本系統(tǒng)研究的重點(diǎn)是把Ｔｅｒａｄａｔａ中的部分?jǐn)?shù)據(jù)遷移至Ｈａｄｏｏｐ，需要特別注??意的是系統(tǒng)連接和文件讀取

?山東大學(xué)碩士學(xué)位論文???２．４系統(tǒng)業(yè)務(wù)流程分析??結(jié)合企業(yè)現(xiàn)有系統(tǒng)的實(shí)際情況，本系統(tǒng)的處理流程分為三個(gè)域：源數(shù)據(jù)域、??數(shù)據(jù)處理域、目標(biāo)數(shù)據(jù)域，具體架構(gòu)如圖２－２所示。源數(shù)據(jù)域是指待遷移數(shù)據(jù)??所在的業(yè)務(wù)系統(tǒng)，在本文中具體是指Ｔｅｒａｄａｔａ數(shù)據(jù)庫(kù)中的接口詳單表、中間匯??總....

圖３－２?ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理流程圖??（１）?Ｍａ階段運(yùn)行開(kāi)始前，計(jì)算文件數(shù)量并進(jìn)行分片，每個(gè)分片對(duì)應(yīng)于一??

源。??３丄２?ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理流程??ＭａｐＲｅｄｕｃｅ是一種編程范式，使應(yīng)用程序不需要進(jìn)行復(fù)雜的分布式編程便??可以在分布式系統(tǒng)上執(zhí)行�？梢詫ⅲ停幔穑遥澹洌酰悖謇斫鉃楦鶕�(jù)某些特征對(duì)無(wú)序數(shù)據(jù)??進(jìn)行歸納匯總，然后按需求進(jìn)行處理以獲得最終結(jié)果。Ｍａｐ階段的任務(wù)主要是??....

圖３－３?Ｈｉｖｅ數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)圖??用戶(hù)接口：最常見(jiàn)的用戶(hù)接口是Ｃｌｉ，它通過(guò)命令行方式訪問(wèn)Ｈｉｖｅ，啟動(dòng)時(shí)會(huì)??在Ｈｉｖｅ中生成一個(gè)副本

?山東大學(xué)碩士學(xué)位論文???用戶(hù)接口??（、Ｓｈｅｌｌ／ＣＬＩ?ｊ?Ｉ＾ＩＤＢＣ客戶(hù)端?ｊ?ｌ〇ＤＢ客戶(hù)端＾?（?ＷＥＩ接口?＾??＼?＇Ｚｆｆ?乂」??Ｔｈｒｉｆｔ?服務(wù)器?Ｚ??＼?（?解析器?）?、／????（?編譯器?）?、??（?＾元數(shù)據(jù)庫(kù)??（執(zhí)行器）?＾??ｗ??Ｊ....

本文編號(hào)：3991981