發(fā)布時(shí)間：2020-11-15 19:21

　　 隨著社會(huì)信息化程度的不斷提高，傳統(tǒng)的基于單機(jī)系統(tǒng)的集中式信息檢索技術(shù)已無(wú)法滿(mǎn)足以大規(guī)模數(shù)據(jù)集為基礎(chǔ)的并發(fā)多用戶(hù)并行信息檢索的需求。利用高速網(wǎng)絡(luò)環(huán)境，搭建一個(gè)分布式搜索引擎集群系統(tǒng)，進(jìn)行分布式并行信息檢索，已成為搜索引擎新的發(fā)展趨勢(shì)。 信息集合的增大使得系統(tǒng)維護(hù)開(kāi)銷(xiāo)和檢索響應(yīng)時(shí)間越來(lái)越大。為了適應(yīng)現(xiàn)代檢索環(huán)境的越來(lái)越高的要求，檢索體系設(shè)計(jì)和算法優(yōu)化仍然是一個(gè)信息檢索效率優(yōu)化的重要研究方向。 本文對(duì)信息檢索系統(tǒng)中涉及的兩個(gè)重大領(lǐng)域：索引和檢索，分別提出了兩種優(yōu)化算法，并在此基礎(chǔ)上衍生出了滿(mǎn)足并行和分布式需求的幾個(gè)不同技術(shù)。在索引方面，針對(duì)單一的RAM索引和FSD索引存在的缺點(diǎn)，采用RAM-FSD協(xié)同索引技術(shù)，并在此基礎(chǔ)上衍生出了RAM-FSD協(xié)同并行索引和RAM-FSD協(xié)同分布式并行索引技術(shù)。在檢索方面，針對(duì)現(xiàn)有線(xiàn)程池的不足，提出了一種新的線(xiàn)程池實(shí)現(xiàn)方式。在此基礎(chǔ)上，提出了線(xiàn)程池優(yōu)化檢索技術(shù)，并衍生出了并行檢索線(xiàn)程池優(yōu)化和分布式并行檢索線(xiàn)程池優(yōu)化技術(shù)。 在分布式搜索引擎集群設(shè)計(jì)中，本文針對(duì)一般分布式搜索引擎系統(tǒng)存在的問(wèn)題，并吸取了GFS的優(yōu)點(diǎn)，提出了一種安全、高效、容易擴(kuò)充、資源共享、成本較低的分布式集群系統(tǒng)。
【學(xué)位單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2012
【中圖分類(lèi)】：TP391.3
【部分圖文】：

第三章 RAM-FSD 協(xié)同分布式并行索引技術(shù)設(shè)計(jì)與實(shí)現(xiàn) 表：表 3.2 三種索引技術(shù)用時(shí)對(duì)比文件數(shù) FSD 索引 RAM 索引 RAM_FSD 協(xié)同100 0.641 0.406 0.7501000 3.047 2.438 3.12510000 25.084 溢出錯(cuò)誤 25.50020000 50.156 溢出錯(cuò)誤 48.016100000 515.437 溢出錯(cuò)誤 411.969用時(shí)單如果不考慮 RAM 的溢出錯(cuò)誤，可將上述統(tǒng)計(jì)表用曲線(xiàn)圖 3.3 表示，為了便的呈現(xiàn)將用時(shí)單位由 s 換算成 ms 后繪制如下：

Workstation）額外虛擬了多臺(tái) PC。表 5.5 軟件環(huán)境配置開(kāi)發(fā)工具 MyEclipse8.6、Macromedia Dreamweaver 8、Style Master 4.6Web 服務(wù)器 Apache 2.2.14、Apache Tomcat 6.5負(fù)載均衡 mod_jk-apache-2.0.55.so集群監(jiān)控 MC4J 1.2 Beta 9開(kāi)發(fā)環(huán)境JDK6.0、Apache Ant1.8.2、Xfire-1.2.6、Lucene3.5.0、HTML Parser1.6、paoding_analyzer3.0、heritrix-1.14.4其它工具 Apache jakarta-jmeter-2.4、soapUI3.6.15.6.2 平臺(tái)效果演示RAM-FSD 協(xié)同索引技術(shù)、協(xié)同分布式并行索引技術(shù)和分布式并行檢索線(xiàn)程池優(yōu)化技術(shù)在分布式搜索引擎集群系統(tǒng)項(xiàng)目《一度搜索》中已得到了充分的運(yùn)用和試驗(yàn)驗(yàn)證，運(yùn)行效果如圖 5.8 和 5.9 所示。

圖 5.9 查詢(xún)結(jié)果顯示界面5.6.3 系統(tǒng)性能評(píng)估實(shí)驗(yàn) 1：設(shè)定 20 個(gè)模擬用戶(hù)，對(duì)集群系統(tǒng)施加過(guò)量請(qǐng)求時(shí)，在 1～3 個(gè)節(jié)點(diǎn)服務(wù)器下對(duì)集群的平均響應(yīng)速度、響應(yīng)時(shí)間和數(shù)據(jù)傳輸速度進(jìn)行測(cè)試。測(cè)試結(jié)果如下表 5.6 所示：表 5.6 測(cè)試結(jié)果節(jié)點(diǎn)數(shù) 響應(yīng)速度（個(gè)響應(yīng)/s） 響應(yīng)時(shí)間（ms） 數(shù)據(jù)傳輸（KB/sec）1 450 109.71 68.82 436 109.98 69.23 442 109.76 69.0從表中可以發(fā)現(xiàn)：當(dāng)節(jié)點(diǎn)數(shù)增加的時(shí)候，系統(tǒng)響應(yīng)速度、傳輸速度先減少后增加，響應(yīng)時(shí)間先增加后減少。實(shí)驗(yàn) 2：設(shè)定 3 個(gè)節(jié)點(diǎn)服務(wù)器下，5、15、20 個(gè)模擬用戶(hù)，對(duì)集群系統(tǒng)施加過(guò)
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李曉明;劉建國(guó);;搜索引擎技術(shù)及趨勢(shì)[J];電腦與電信;2008年05期

2 樊景超;周?chē)?guó)民;;基于Lucene的“農(nóng)搜”并行索引技術(shù)研究[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2009年08期

3 王華,馬亮,顧明;線(xiàn)程池技術(shù)研究與應(yīng)用[J];計(jì)算機(jī)應(yīng)用研究;2005年11期

4 張敏,耿騫;并行信息檢索及其控制過(guò)程[J];情報(bào)科學(xué);2004年08期

5 李建中;并行數(shù)據(jù)庫(kù)的查詢(xún)處理并行化技術(shù)和物理設(shè)計(jì)方法[J];軟件學(xué)報(bào);1994年10期

6 趙海,李志蜀,韓學(xué)為,葉浩;線(xiàn)程池的優(yōu)化設(shè)計(jì)[J];四川大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年01期

7 管建和;甘劍峰;;基于Lucene全文檢索引擎的應(yīng)用研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年02期

8 唐華姣;何友全;徐小樂(lè);徐澄;;基于Lucene的分布式并行索引[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年02期

9 李昊,劉志鏡;線(xiàn)程池技術(shù)的研究[J];現(xiàn)代電子技術(shù);2004年03期

10 田俊華;楊曉江;;分布式并行信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)——基礎(chǔ)教育資源搜索引擎?zhèn)�案研究[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2007年08期

本文編號(hào)：2885109