發(fā)布時(shí)間：2020-11-20 04:45

　　 隨著體育視頻數(shù)據(jù)量的快速增長(zhǎng),如何高效地存儲(chǔ)、管理和分析龐大的體育視頻數(shù)據(jù)成為一個(gè)亟需解決的難題。通過(guò)設(shè)計(jì)和實(shí)現(xiàn)通用的體育視頻處理平臺(tái),封裝在存儲(chǔ)和計(jì)算過(guò)程中涉及的重復(fù)的工作并對(duì)外提供統(tǒng)一的調(diào)用接口,極大地簡(jiǎn)化用戶使用大數(shù)據(jù)框架處理視頻數(shù)據(jù)的流程,對(duì)體育視頻處理具有重要意義。為了實(shí)現(xiàn)高效文件存儲(chǔ)和視頻處理,借助目前廣泛使用的大數(shù)據(jù)組件設(shè)計(jì)并實(shí)現(xiàn)一個(gè)針對(duì)體育視頻的大數(shù)據(jù)處理平臺(tái)。平臺(tái)由文件存儲(chǔ)系統(tǒng)、視頻分布式處理系統(tǒng)和任務(wù)調(diào)度系統(tǒng)三部分組成。文件存儲(chǔ)系統(tǒng)主要包括分布式緩存模塊和小文件存儲(chǔ)模塊,前者基于代理的思想使用Redis搭建分布式緩存子系統(tǒng),后者利用基于索引的歸檔文件實(shí)現(xiàn)小文件的高效存儲(chǔ)和讀取。視頻分布式處理系統(tǒng)利用Spark實(shí)現(xiàn)視頻分布式解碼以提高視頻解碼的速度,且對(duì)FFmpeg和OpenCV等常用的視頻圖像處理算法庫(kù)進(jìn)行封裝以便于Spark直接調(diào)用,同時(shí)借助足球視頻的運(yùn)動(dòng)強(qiáng)度檢測(cè)驗(yàn)證了平臺(tái)提升視頻處理速度的可行性。任務(wù)調(diào)度系統(tǒng)基于設(shè)計(jì)的混合粒子群優(yōu)化算法實(shí)現(xiàn)平臺(tái)的任務(wù)調(diào)度功能,它能有效提高平臺(tái)的資源利用率和降低任務(wù)完成時(shí)間。平臺(tái)采用主從式的架構(gòu),保證了平臺(tái)的高可用性和擴(kuò)展性,實(shí)驗(yàn)結(jié)果表明平臺(tái)可以實(shí)現(xiàn)文件的高效存儲(chǔ)并提升視頻解碼和視頻內(nèi)容分析的速度。下一步研究重點(diǎn)是基于平臺(tái)開(kāi)發(fā)更多視頻應(yīng)用。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：G80-05;TP391.41
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究目的及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究目標(biāo)及所做的工作
    1.4 論文的組織結(jié)構(gòu)
2 分布式文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    2.1 分布式文件存儲(chǔ)系統(tǒng)的整體架構(gòu)
    2.2 分布式緩存
    2.3 小文件存儲(chǔ)
    2.4 實(shí)驗(yàn)結(jié)果與分析
    2.5 本章小結(jié)
3 視頻分布式處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    3.1 視頻分布式處理系統(tǒng)的整體架構(gòu)
    3.2 視頻解碼的分布式實(shí)現(xiàn)
    3.3 特征提取的分布式實(shí)現(xiàn)
    3.4 實(shí)驗(yàn)結(jié)果與分析
    3.5 本章小結(jié)
4 基于混合粒子群優(yōu)化算法的任務(wù)調(diào)度
    4.1 粒子群優(yōu)化算法
    4.2 混合粒子群優(yōu)化算法
    4.3 HPSO算法的任務(wù)調(diào)度模型
    4.4 HPSO算法的任務(wù)調(diào)度實(shí)現(xiàn)
    4.5 實(shí)驗(yàn)結(jié)果與分析
    4.6 本章小結(jié)
5 總結(jié)與展望
    5.1 全文總結(jié)
    5.2 存在的問(wèn)題
    5.3 研究展望
致謝
參考文獻(xiàn)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李子乾;朱青;穆松鶴;張?jiān)?;云計(jì)算的智能電網(wǎng)大數(shù)據(jù)處理平臺(tái)[J];粘接;2019年11期

2 李為波;;基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺(tái)方案設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2017年01期

3 吳永飛;;基于分布式的多活數(shù)據(jù)處理平臺(tái)探索[J];金融電子化;2016年12期

4 林華兵;;數(shù)據(jù)處理平臺(tái)高可靠性的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)金融電腦;2010年11期

5 陳旭洋;;建立縣級(jí)綜合數(shù)據(jù)處理平臺(tái)的一些想法[J];浙江統(tǒng)計(jì);2006年08期

6 胡瑤 ,段鵬瑞 ,高文昌;網(wǎng)絡(luò)優(yōu)化的數(shù)據(jù)處理平臺(tái)[J];中國(guó)無(wú)線電;2004年11期

7 周蕓韜;;基于R語(yǔ)言的大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J];現(xiàn)代電子技術(shù);2017年02期

8 董紅娟;張建龍;欒春雪;石月;;基于陸態(tài)網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的精密單點(diǎn)定位分析[J];煤炭技術(shù);2016年03期

9 呂益民;宮夏屹;聶春華;;公安大數(shù)據(jù)處理平臺(tái)的探索[J];廣東公安科技;2014年03期

10 張濤;李建;康永佳;;多任務(wù)高并發(fā)數(shù)據(jù)處理平臺(tái)的技術(shù)研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年03期

相關(guān)博士學(xué)位論文 前3條

1 李宇昕;全腦光學(xué)顯微成像大數(shù)據(jù)處理平臺(tái)的初步構(gòu)建和應(yīng)用[D];華中科技大學(xué);2018年

2 陸宏亮;賽博—物理空間中數(shù)據(jù)分布式聚合與大規(guī)模處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2016年

3 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 吳永峰;基于容器云的流數(shù)據(jù)處理平臺(tái)服務(wù)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2017年

2 蔡恒友;體育視頻大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2019年

3 戴云揚(yáng);海量銷售數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2016年

4 錢石磊;分布式流數(shù)據(jù)處理平臺(tái)基準(zhǔn)評(píng)測(cè)與性能優(yōu)化[D];上海交通大學(xué);2017年

5 徐玉景;基于Kafka的全鏈路流數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2018年

6 黃偉;云環(huán)境下大數(shù)據(jù)處理平臺(tái)性能分析與優(yōu)化研究[D];杭州電子科技大學(xué);2018年

7 李艷驕;正藍(lán)旗環(huán)保局監(jiān)測(cè)數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2018年

8 孫啟慧;大數(shù)據(jù)處理平臺(tái)的存儲(chǔ)優(yōu)化技術(shù)研究[D];云南大學(xué);2017年

9 張雪姣;面向電動(dòng)汽車的高并發(fā)數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2018年

10 榮彬杰;基于雙核PowerPC的雷達(dá)信號(hào)數(shù)據(jù)處理平臺(tái)設(shè)計(jì)[D];電子科技大學(xué);2018年

本文編號(hào)：2890970