發(fā)布時間：2018-03-02 11:40

  本文選題：傳感流數(shù)據(jù)　切入點：流數(shù)據(jù)服務(wù)　出處：《計算機(jī)學(xué)報》2017年02期 　論文類型：期刊論文

【摘要】：來自不同傳感器網(wǎng)絡(luò)的流數(shù)據(jù)共享和集成對于帶動相關(guān)業(yè)務(wù)和行業(yè)的創(chuàng)新具有重要意義.現(xiàn)有的傳感網(wǎng)絡(luò)往往是任務(wù)導(dǎo)向或領(lǐng)域?qū)Ｓ玫?僅適用于特定的應(yīng)用場景,難以有效地在不同應(yīng)用間共享和重用其數(shù)據(jù)資源.傳感流數(shù)據(jù)的服務(wù)化是一種有效解決物理傳感網(wǎng)絡(luò)數(shù)據(jù)資源共享和重用的方法.針對已有服務(wù)化方法在應(yīng)對大規(guī)模傳感流數(shù)據(jù)共享和用戶并發(fā)訪問方面存在的局限性,該文提出了一種面向傳感流數(shù)據(jù)的服務(wù)化封裝方法——SDaaS(Stream Data as a Service),該方法使用事件的方式驅(qū)動傳感流數(shù)據(jù)的處理和傳輸,通過對傳感數(shù)據(jù)的融合操作實現(xiàn)服務(wù)對傳感流數(shù)據(jù)的深層次加工,并基于Pub/Sub機(jī)制實現(xiàn)傳感流數(shù)據(jù)的按需分發(fā).文中基于Spark Streaming實現(xiàn)對大規(guī)模流數(shù)據(jù)加工操作的封裝,并通過對傳統(tǒng)的基于匹配樹的事件匹配算法進(jìn)行改進(jìn)實現(xiàn)了高效的流數(shù)據(jù)內(nèi)容分發(fā),以保障將傳感數(shù)據(jù)實時的分發(fā)給相應(yīng)需求.該文通過實驗驗證了流數(shù)據(jù)服務(wù)的性能,印證了流數(shù)據(jù)服務(wù)能夠響應(yīng)不同的數(shù)據(jù)需求,在毫秒級別將數(shù)據(jù)流分發(fā)給不同應(yīng)用.
[Abstract]:Stream data sharing and integration from different sensor networks are important for driving innovation in related businesses and industries. Existing sensor networks are often task-oriented or domain-specific and can only be used in specific application scenarios. It is difficult to share and reuse the data resource among different applications effectively. The service of sensor flow data is an effective method to solve the problem of data resource sharing and reuse in physical sensor network. The limitations of scale sensor flow data sharing and concurrent user access, In this paper, a service-oriented encapsulation method for sensor stream data is proposed. The method uses event mode to drive the processing and transmission of sensor flow data. Through the fusion operation of sensor data, the deep processing of sensor flow data is realized by the service, and the on-demand distribution of sensor flow data is realized based on Pub/Sub mechanism. The encapsulation of large-scale flow data processing operation based on Spark Streaming is realized in this paper. By improving the traditional event matching algorithm based on matching tree, the efficient streaming data content distribution is realized to ensure the real-time distribution of sensor data to the corresponding requirements. The performance of streaming data service is verified by experiments. It is proved that streaming data services can respond to different data requirements and distribute data streams to different applications at millisecond level.
【作者單位】： 天津大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;北方工業(yè)大學(xué)大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點實驗室;北方工業(yè)大學(xué)云計算研究中心;
【基金】：國家自然科學(xué)基金(61672042) 北方工業(yè)大學(xué)“人才強(qiáng)校計劃”青年拔尖人才培育計劃 北京市市委組織部資助青年骨干個人項目(2015000020124G024)資助~~
【分類號】：TP393.09;TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 金澈清,錢衛(wèi)寧,周傲英;流數(shù)據(jù)分析與管理綜述[J];軟件學(xué)報;2004年08期

2 聶國梁;盧正鼎;;流數(shù)據(jù)實時近似求和的算法研究[J];小型微型計算機(jī)系統(tǒng);2005年10期

3 李衛(wèi)民;于守健;駱軼姝;樂嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進(jìn)展[J];計算機(jī)科學(xué);2007年06期

4 李子杰;鄭誠;;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲及管理方法比較研究[J];計算機(jī)技術(shù)與發(fā)展;2009年04期

5 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國管理信息化;2009年21期

6 鄒永貴;龔海平;夏英;宋強(qiáng);;一種面向流數(shù)據(jù)頻繁項挖掘的降載策略[J];計算機(jī)應(yīng)用研究;2011年04期

7 聶國梁;盧正鼎;聶國棟;;流數(shù)據(jù)近似統(tǒng)計算法研究[J];計算機(jī)科學(xué);2005年04期

8 魏晶晶;金培權(quán);龔育昌;岳麗華;;基于流數(shù)據(jù)的大對象數(shù)據(jù)緩沖機(jī)制[J];計算機(jī)工程;2006年11期

9 楊立;;基于權(quán)重的流數(shù)據(jù)頻繁項挖掘算法的應(yīng)用[J];微型機(jī)與應(yīng)用;2011年02期

10 尹為;張成虎;楊彬;;基于流數(shù)據(jù)頻繁項挖掘的可疑金融交易識別研究[J];西安交通大學(xué)學(xué)報(社會科學(xué)版);2011年05期

相關(guān)會議論文 前3條

1 劉正濤;毛宇光;吳莊;;一種新的流數(shù)據(jù)模型及其擴(kuò)展[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

2 姚春芬;陳紅;;分布偏斜的流數(shù)據(jù)上的一種直方圖維護(hù)算法[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

3 孫煥良;趙法信;鮑玉斌;于戈;王大玲;;CD-Stream——一種基于空間劃分的流數(shù)據(jù)密度聚類算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2004年

相關(guān)博士學(xué)位論文 前6條

1 丁智國;流數(shù)據(jù)在線異常檢測方法研究[D];上海大學(xué);2015年

2 聶國梁;流數(shù)據(jù)統(tǒng)計算法研究[D];華中科技大學(xué);2006年

3 劉建偉;流數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)及模式查詢算法的研究[D];東華大學(xué);2005年

4 李衛(wèi)民;流數(shù)據(jù)查詢算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

5 屠莉;流數(shù)據(jù)的頻繁項挖掘及聚類的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

6 陳筠翰;車載網(wǎng)絡(luò)的若干關(guān)鍵技術(shù)研究[D];吉林大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 孔祥佳;基于海洋平臺監(jiān)測的流數(shù)據(jù)管理研究[D];大連理工大學(xué);2015年

2 王晨陽;支持位置謂詞的XML流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2015年

3 王中義;基于動態(tài)支持度的流數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘[D];哈爾濱工業(yè)大學(xué);2014年

4 趙丹;面向流數(shù)據(jù)的不平衡樣本分類研究[D];哈爾濱工業(yè)大學(xué);2014年

5 馮學(xué)智;基于宏森林自動機(jī)的XML流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2015年

6 徐靂靂;物流數(shù)據(jù)中的云聚類調(diào)度算法研究[D];南京郵電大學(xué);2015年

7 肖丙賢;大規(guī)模流數(shù)據(jù)聚集查詢服務(wù)的生成與優(yōu)化[D];北方工業(yè)大學(xué);2016年

8 劉曉斐;分布式流處理系統(tǒng)操作共享優(yōu)化算法研究[D];吉林大學(xué);2016年

9 張媛;基于彈性分布式數(shù)據(jù)集的流數(shù)據(jù)聚類分析[D];華東師范大學(xué);2016年

10 王曾亦;基于內(nèi)存計算的流數(shù)據(jù)處理在飛行大數(shù)據(jù)的研究與應(yīng)用[D];電子科技大學(xué);2016年

，

本文編號：1556369