發(fā)布時間：2024-06-10 22:19

　　隨著各種新興互聯(lián)網(wǎng)技術的發(fā)展,數(shù)據(jù)體量呈現(xiàn)出指數(shù)型增長。數(shù)據(jù)的不斷累積,使得企業(yè)現(xiàn)有業(yè)務平臺面臨著性能不足、資源花費過多等問題,已無法較好的滿足高性能、高并發(fā)的需求。而大數(shù)據(jù)平臺存儲容量巨大且支持大規(guī)模數(shù)據(jù)的復雜計算,能夠對數(shù)據(jù)進行更深層次的價值分析,因此把一些存在價值的歷史數(shù)據(jù)遷移到大數(shù)據(jù)平臺十分有必要,不僅可以緩解現(xiàn)有業(yè)務平臺的生產(chǎn)壓力,還可以發(fā)掘新的業(yè)務方向。本文結合某世界前五百強通信企業(yè)的實際需求,設計實現(xiàn)了一個將數(shù)據(jù)從Teradata數(shù)據(jù)庫遷移至Hadoop平臺并自動存儲歸檔的數(shù)據(jù)遷移系統(tǒng)。本系統(tǒng)針對結構化和非結構化數(shù)據(jù)的特征,設計實施了兩種不同的遷移方案,即基于MapReduce的結構化數(shù)據(jù)遷移和基于FTP方式的非結構化數(shù)據(jù)遷移。與現(xiàn)有遷移工具相比,本系統(tǒng)能夠完成一些特定需求,例如按業(yè)務邏輯清洗數(shù)據(jù)、回傳部分數(shù)據(jù)等,并且只需在遷移任務開始前配置好相關參數(shù),便能夠自動實現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)類型轉換、數(shù)據(jù)校驗、數(shù)據(jù)加載、數(shù)據(jù)回傳等一系列流程。最后根據(jù)業(yè)務邏輯和調度周期的不同,選擇不同的數(shù)據(jù)格式,存儲在Hadoop平臺不同的層級。經(jīng)過測試,本系統(tǒng)各個功能滿足預期設計目標,具...

【文章頁數(shù)】：67 頁

【學位級別】：碩士

【部分圖文】：

圖２－１數(shù)據(jù)遷移系統(tǒng)流程圖（Ｔｅｒａｄａｔａ到Ｈａｄｏｏｐ）??

?山東大學碩士學位論文???主要功能和流程如圖２－１。??ｒ￣＾?ｒ￣＾????????????????＞????Ｔｉｊａｉａ?－？數(shù)據(jù)抽�。珨�(shù)據(jù)溝洗—數(shù)賺數(shù)雛驗？數(shù)據(jù)臓—？Ｈａｄｏ叩??數(shù)據(jù)庫?｜丨?［＿＿?１丨?平臺???數(shù)鮰傳???圖２－１數(shù)據(jù)遷移系統(tǒng)流程圖（Ｔｅｒａｄａｔ....

圖２－２系統(tǒng)業(yè)務架構圖??本系統(tǒng)研究的重點是把Ｔｅｒａｄａｔａ中的部分數(shù)據(jù)遷移至Ｈａｄｏｏｐ，需要特別注??意的是系統(tǒng)連接和文件讀取

?山東大學碩士學位論文???２．４系統(tǒng)業(yè)務流程分析??結合企業(yè)現(xiàn)有系統(tǒng)的實際情況，本系統(tǒng)的處理流程分為三個域：源數(shù)據(jù)域、??數(shù)據(jù)處理域、目標數(shù)據(jù)域，具體架構如圖２－２所示。源數(shù)據(jù)域是指待遷移數(shù)據(jù)??所在的業(yè)務系統(tǒng)，在本文中具體是指Ｔｅｒａｄａｔａ數(shù)據(jù)庫中的接口詳單表、中間匯??總....

圖３－２?ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理流程圖??（１）?Ｍａ階段運行開始前，計算文件數(shù)量并進行分片，每個分片對應于一??

源。??３丄２?ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理流程??ＭａｐＲｅｄｕｃｅ是一種編程范式，使應用程序不需要進行復雜的分布式編程便??可以在分布式系統(tǒng)上執(zhí)行�？梢詫ⅲ停幔穑遥澹洌酰悖謇斫鉃楦鶕�(jù)某些特征對無序數(shù)據(jù)??進行歸納匯總，然后按需求進行處理以獲得最終結果。Ｍａｐ階段的任務主要是??....

圖３－３?Ｈｉｖｅ數(shù)據(jù)倉庫架構圖??用戶接口：最常見的用戶接口是Ｃｌｉ，它通過命令行方式訪問Ｈｉｖｅ，啟動時會??在Ｈｉｖｅ中生成一個副本

?山東大學碩士學位論文???用戶接口??（、Ｓｈｅｌｌ／ＣＬＩ?ｊ?Ｉ＾ＩＤＢＣ客戶端?ｊ?ｌ〇ＤＢ客戶端＾?（?ＷＥＩ接口?＾??＼?＇Ｚｆｆ?乂」??Ｔｈｒｉｆｔ?服務器?Ｚ??＼?（?解析器?）?、／????（?編譯器?）?、??（?＾元數(shù)據(jù)庫??（執(zhí)行器）?＾??ｗ??Ｊ....

本文編號：3991981