国产伦乱,一曲二曲欧美日韩,AV在线不卡免费在线不卡免费,搞91AV视频

當(dāng)前位置:主頁 > 教育論文 > 課堂教學(xué)論文 >

基于大數(shù)據(jù)平臺的K12在線教育數(shù)據(jù)倉庫設(shè)計與實現(xiàn)

發(fā)布時間:2024-06-08 00:24
  近年來,隨著互聯(lián)網(wǎng)的發(fā)展人們產(chǎn)生的數(shù)據(jù)越來越多,為了處理并挖掘這些數(shù)據(jù)的價值,大數(shù)據(jù)技術(shù)得到了飛速的發(fā)展與應(yīng)用。Hive作為構(gòu)建與大數(shù)據(jù)基礎(chǔ)平臺之上的開源數(shù)據(jù)應(yīng)用,具有高擴展性、高容錯性、模式自由的特性,能很好地滿足企業(yè)級數(shù)據(jù)倉庫地需求。因此,各個行業(yè)已經(jīng)開始大力建設(shè)基于大數(shù)據(jù)平臺的數(shù)據(jù)倉庫,通過其對數(shù)據(jù)進行采集、處理挖掘出其潛在的價值。本論文以K12在線教育的業(yè)務(wù)需求為背景,在充分研究企業(yè)業(yè)務(wù)需求的基礎(chǔ)上,對基于大數(shù)據(jù)平臺的K12在線教育數(shù)據(jù)倉庫進行了總體的系統(tǒng)架構(gòu)設(shè)計,針對數(shù)據(jù)處理過程進行了數(shù)據(jù)流向框架設(shè)計及技術(shù)選型。通過大數(shù)據(jù)生態(tài)開源組件搭建并部署Hadoop集群,編寫Flume、Kafka等程序采集課堂埋點日志,使用Java編程語言在日志Etl清洗、轉(zhuǎn)換、脫敏后接入Hive。將已有地Mysql業(yè)務(wù)庫數(shù)據(jù)通過Sqoop導(dǎo)入Hive,采用Shell編程語言開發(fā)數(shù)據(jù)一致性校驗?zāi)_本,對進入數(shù)據(jù)倉庫的數(shù)據(jù)進行正確性校驗。結(jié)合K12在線教育企業(yè)具體的業(yè)務(wù)需求采用維度建模,選取星型模式進行數(shù)據(jù)倉庫分層設(shè)計與開發(fā),最終完成了數(shù)據(jù)倉庫的設(shè)計與實現(xiàn),并對數(shù)據(jù)倉庫實現(xiàn)的功能進行展示與分析。本論文完成...

【文章頁數(shù)】:66 頁

【學(xué)位級別】:碩士

【文章目錄】:
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 本論文的研究進展
        1.2.1 數(shù)據(jù)倉庫發(fā)展現(xiàn)狀
        1.2.2 K12 在線教育行業(yè)發(fā)展現(xiàn)狀
    1.3 本文主要研究內(nèi)容
    1.4 本文的論文的組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)基礎(chǔ)
    2.1 大數(shù)據(jù)開源生態(tài)
    2.2 大數(shù)據(jù)獲取技術(shù)
    2.3 大數(shù)據(jù)平臺資源管理技術(shù)
    2.4 大數(shù)據(jù)處理技術(shù)
    2.5 企業(yè)級數(shù)據(jù)倉庫
    2.6 本章小結(jié)
第3章 需求分析與方案設(shè)計
    3.1 需求整理
        3.1.1 功能性需求
        3.1.2 非功能性需求
    3.2 系統(tǒng)體系設(shè)計
        3.2.1 總體架構(gòu)設(shè)計
        3.2.2 系統(tǒng)功能架構(gòu)
        3.2.3 系統(tǒng)技術(shù)選型
    3.3 本章小結(jié)
第4章 數(shù)據(jù)倉庫設(shè)計與實現(xiàn)
    4.1 基于虛擬化的大數(shù)據(jù)平臺搭建
        4.1.1 Ambari集群部署
        4.1.2 數(shù)據(jù)庫環(huán)境配置
    4.2 數(shù)據(jù)接入與處理實現(xiàn)
        4.2.1 數(shù)據(jù)源分析與定義
        4.2.2 日志采集與接入HDFS
        4.2.3 業(yè)務(wù)庫數(shù)據(jù)導(dǎo)入與導(dǎo)出
        4.2.4 實時自動同步業(yè)務(wù)庫信息至數(shù)據(jù)倉庫
        4.2.5 數(shù)據(jù)的一致性校驗
    4.3 K12 在線教育數(shù)據(jù)倉庫模型設(shè)計
        4.3.1 業(yè)務(wù)主題的劃分
        4.3.2 數(shù)據(jù)倉庫模型建模
        4.3.3 數(shù)據(jù)倉庫分層設(shè)計
        4.3.4 寬表的設(shè)計與開發(fā)
    4.4 本章小結(jié)
第5章 數(shù)據(jù)倉庫在K12 在線教育領(lǐng)域的驗證與實現(xiàn)
    5.1 Hive數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入導(dǎo)出驗證
    5.2 K12 在線教育數(shù)據(jù)倉庫性能分析
    5.3 看板與報表的展示與分析
    5.4 課次分析報告實時生成與推送
    5.5 本章小結(jié)
結(jié)論
參考文獻
致謝



本文編號:3991180

資料下載
論文發(fā)表

本文鏈接:http://lk138.cn/jiaoyulunwen/ktjx/3991180.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶87a7a***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com
四虎影视黄片| 中文午夜无码| 欧美州一级黄色片| 奶头很大吃着很爽视频| 尤物看片1735| v片免费欧美日韩男男| 中文在线三级斤黄色| 好吊看在线视频| 麻豆成人AV电影| 亚洲老女人免费性生活视频| 午夜福利10| 狠狠久久中文字幕成人a| 精品久久久伦理| 亚洲无码AV一区二区暴力王| 国产99精品免| 蜜桃视频深夜免费看| 欧美亚洲激情綜合| 九色91视频地址国产大鸡巴| 大鸡吧c美女网站| 京热久久久| 插入啪啪啪一区二区三区| 超碰日本道色综合久久综合| 沈阳操逼主播大片| 日韩一级黄片小视频| 精品一区二区三区91技师| 国产一区二区精品久久久樱草| 久久久三级片电影| 久久精品中文字幕蜜| 婷婷久久伊人一二三区| 亚洲欧美码欧美整片| 无码天天弄尿尿| 开心色播五月天| 欧美日韩一区小说| 日韩精品美女在线| 天天日很很操| 91欧美日韩久久| 黄色小说AV| 亚洲日韩电影一区二区三区四区| 欧美日韩国产成人精品大全一区 | 日日碰人妻中文字幕一区二区三区| 亚洲欧美日韩BT淫|