我國林業(yè)資源豐富、種類繁多,分布在全國各地的大小監(jiān)測站搭載的各類傳感器日積月累的監(jiān)測生成了海量的數(shù)據(jù),采用何種方式來有效地存儲和管理這些數(shù)據(jù)是擺在我們面前的重要問題。在對傳感器采集到的原始數(shù)據(jù)進(jìn)行分析時發(fā)現(xiàn)這些數(shù)據(jù)或多或少均存在一些數(shù)值波動數(shù)據(jù),為此本研究對這些數(shù)值波動數(shù)據(jù)進(jìn)行了分析與總結(jié),研究出了一套原始數(shù)據(jù)的誤差消除算法。目前各類傳感器監(jiān)測到的原始數(shù)據(jù)存在較多誤差和數(shù)值波動數(shù)據(jù),有些數(shù)值波動是由于極端天氣情況造成的正常數(shù)值波動,而有些數(shù)值波動是因為設(shè)備故障、外界干擾等原因造成的異常數(shù)值波動。因此,這些原始數(shù)據(jù)在存入數(shù)據(jù)庫之前必須先經(jīng)過人工處理數(shù)值波動的步驟,但是這樣數(shù)據(jù)的準(zhǔn)確性又受到了人為因素的干擾。本研究針對該問題采用天山西部某森林生態(tài)監(jiān)測站的空氣負(fù)離子濃度數(shù)據(jù)作為實驗數(shù)據(jù),研究了一套基于多元回歸擬合的自動誤差消除的算法,以簡化數(shù)據(jù)處理程序,減少傳感器監(jiān)測的原始數(shù)據(jù)中存在的誤差以及人為因素的影響,該算法擬合精度的浮動范圍在14%以內(nèi)。本研究比較了關(guān)系型和非關(guān)系型數(shù)據(jù)庫的一般特性以及二者在存儲海量數(shù)據(jù)時的優(yōu)劣勢,分析了目前8款主流NoSQL數(shù)據(jù)庫的特性和適用場景,然后針對云平臺中傳...

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－２?７ＴＳ架構(gòu)??Ｆｉｇ．１－２?ＳｔｒｕｃＵｉｒｅ?ｏｆ?ＴＦＳ??

圖１－２?７ＴＳ架構(gòu)??Ｆｉｇ．１－２?ＳｔｒｕｃＵｉｒｅ?ｏｆ?ＴＦＳ??如圖１－２所示，Ｔｆｓ架構(gòu)中各節(jié)點負(fù)責(zé)的具體內(nèi)容如下：??（１）?Ｃｌｉｅｎｔ：它是對數(shù)據(jù)進(jìn)行訪問的發(fā)起者，一般情況下它在訪問系統(tǒng)中的數(shù)據(jù)的時??候需要通過Ｔｆｓ提供的訪問接日來實現(xiàn)；??（２）?Ｎａｍｅ....

圖２－１?Ｈａｄｏｏｐ體系結(jié)構(gòu)圖??Ｆｉｇ．２－１?Ｔｈｅ?ａｒｃｈｉ化別ｕｒｅ?ｏｆ?Ｈａｄｏｏｐ??

此外，ＨＤＦＳ也不能夠有效地讀寫小文件，它通常用于對大文件的操作。對??小文件進(jìn)行讀寫操作一般會導(dǎo)致導(dǎo)致大批的尋址，需要檢索數(shù)據(jù)節(jié)點的每個小文件，所??有這些都是一種非常低效的數(shù)據(jù)訪問模式。ＨＤＦＳ的系統(tǒng)架構(gòu)如圖２－２所示；??１４??

圖２－２?ＨＤＦＳ系統(tǒng)架構(gòu)圖??Ｆｉｇ．２－２?Ｔｈｅ?ａｒｃｈｈｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??

??圖２－１?Ｈａｄｏｏｐ體系結(jié)構(gòu)圖??Ｆｉｇ．２－１?Ｔｈｅ?ａｒｃｈｉ化別ｕｒｅ?ｏｆ?Ｈａｄｏｏｐ??２．３分布式存儲系統(tǒng)ＨＤＦＳ??ＨＤＦＳ巧ａｄｏｏｐ?Ｄｉｓ化化ｕｔｅｄ?Ｆｉｌｅ?Ｓｙｓｔｅｍ），即Ｈａｄｏｏｐ的分布式文件系統(tǒng)，它最大的優(yōu)??勢在于可Ｗ正常搭載于一般的....

圖２－３?ＨＢａｓｅ基本架構(gòu)圖??Ｆｉｇ．２－３?Ｔｈｅ?ａｒｃｈＨｅｃＵｉｉ＇ｅ?ｏｆ?ＨＢａｓｅ??

２．５?ＨＢａｓｅ??ＨＢａｓｅ為基于列的數(shù)據(jù)庫，它是分布式架構(gòu)的，它的優(yōu)勢在于存儲非結(jié)構(gòu)化的數(shù)據(jù)。??其基本架構(gòu)如圖２－３所示：??＿＿＿＿＿＿＿＿＿＿＿＿＿?Ｉ，????ｒ．？?、?？ｒｉＴ，ｉ，ｎｍｎ？，?ｉｒ，．．－ｉｒ，?ｉｉｎｉｎ－Ｔ＾??Ｃｌｉｅｎｔ?？Ｚｏｏｋｅｅ....

本文編號：3998287