【摘要】：隨著電子商務(wù)的快速發(fā)展帶來(lái)了用戶消費(fèi)習(xí)慣的改變,網(wǎng)上購(gòu)物的用戶不斷增長(zhǎng)。為了購(gòu)買(mǎi)一款商品,往往需要在不同的商家進(jìn)行同一款商品的價(jià)格比較、優(yōu)惠信息的比較、好評(píng)率比較等。面向商品的垂直搜索系統(tǒng)的應(yīng)用也風(fēng)靡一時(shí),但是目前是世面上的相關(guān)產(chǎn)品普遍商品數(shù)據(jù)量小、精準(zhǔn)度低、時(shí)效性低。于是就需要高精準(zhǔn)度、高時(shí)效性的面向商品的搜索引擎服務(wù)。本文與多家知名電商合作,對(duì)商品數(shù)據(jù)進(jìn)行一系列的處理、通過(guò)面向商品的垂直搜索系統(tǒng),為用戶提供商品價(jià)格比較、優(yōu)惠信息的比較、好評(píng)率比較等功能的精準(zhǔn)商品搜索與購(gòu)買(mǎi)服務(wù)。面向商品的垂直搜索系統(tǒng)是來(lái)源于百度公司垂直搜索產(chǎn)品線的實(shí)際項(xiàng)目,屬于互聯(lián)網(wǎng)搜索引擎領(lǐng)域。商品垂直搜索系統(tǒng)是基于商品數(shù)據(jù)為基礎(chǔ),明確用戶需求,提供面向商品的垂直搜索及購(gòu)買(mǎi)服務(wù)。本項(xiàng)目主要包括三個(gè)部分,數(shù)據(jù)引入、數(shù)據(jù)加工、垂直搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。在分布式計(jì)算平臺(tái)上進(jìn)行海量數(shù)據(jù)引入、數(shù)據(jù)加工等相關(guān)前期數(shù)據(jù)處理工作。數(shù)據(jù)引入包括數(shù)據(jù)拉取、數(shù)據(jù)爬取。拉取合作方的商品數(shù)據(jù),爬取合作方無(wú)法提供的商品數(shù)據(jù)。爬取是通過(guò)使用Python的Scrapy框架實(shí)現(xiàn)的。數(shù)據(jù)加工包括數(shù)據(jù)清理、數(shù)據(jù)分類(lèi)、數(shù)據(jù)去重、數(shù)據(jù)集成等操作。數(shù)據(jù)加工使用了中文分詞、分類(lèi)算法、Simhash等相關(guān)技術(shù)。待數(shù)據(jù)處理后,進(jìn)行垂直搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。包括索引建立、搜索詞處理以及檢索排序。最后通過(guò)前端搜索界面與用戶進(jìn)行交互。本人主要負(fù)責(zé)產(chǎn)品的數(shù)據(jù)拉取功能的設(shè)計(jì)與開(kāi)發(fā)以及數(shù)據(jù)爬取功能的設(shè)計(jì)與開(kāi)發(fā),數(shù)據(jù)分類(lèi)功能模塊的設(shè)計(jì)與開(kāi)發(fā),數(shù)據(jù)去重功能模塊的去重模塊設(shè)計(jì)與開(kāi)發(fā),包括去重算法選取、中文分詞、關(guān)鍵詞提取以及在分布式計(jì)算平臺(tái)上進(jìn)行海量數(shù)據(jù)去重功能的實(shí)現(xiàn)。商品數(shù)據(jù)集成的方案設(shè)計(jì)與功能模塊的開(kāi)發(fā)。本論文完成的面向商品的垂直搜索系統(tǒng),經(jīng)過(guò)對(duì)各模塊進(jìn)行功能測(cè)試,均已達(dá)到了預(yù)想的效果,可以為用戶提供更便捷、更高效、更實(shí)惠的商品搜索與購(gòu)買(mǎi)服務(wù)。
【圖文】：

圖２－１邋Ｓｉｍｈａｓｈ流程圖逡逑Ｆｉｇｕｒｅ邋２－１邋Ｆｌｏｗ邋Ｃｈａｒｔ邋ｏｆ邋Ｓｉｍｈａｓｈ逡逑詞：第一步就是給句子進(jìn)行分詞，接下來(lái)給每一個(gè)詞加上權(quán)重，越高。權(quán)重設(shè)置了五個(gè)等級(jí)，分別用數(shù)值１？５表示，數(shù)字越“全面屏改變的不僅僅是信息呈現(xiàn)”，分詞后為“全面屏（５）改僅（２）是（１）信息（４）呈現(xiàn)（２）”，括號(hào)里是代表單詞的重希：通過(guò)哈希算法把每個(gè)詞變成哈希值，比如“全面屏”通過(guò)０１０１，“信息”通過(guò)Ｈａｓｈ算法計(jì)算為１０１０１１。這樣每個(gè)詞語(yǔ)就我們進(jìn)行相似度計(jì)算打下了很好的基礎(chǔ)。逡逑：通過(guò)步驟二的哈希生成結(jié)果，需要按照單詞的權(quán)重形成加權(quán)屏”的哈希值為“１１００１０”，通過(guò)加權(quán)計(jì)算為“５邋５邋－５邋－５邋５邋－５”，ｈ值為“１００１００”，通過(guò)加權(quán)計(jì)算為“３邋－３邋－３邋３邋－３邋－３”。逡逑：把上面各個(gè)單詞算出來(lái)的序列值累加，變成只有一個(gè)序列的“５邋５邋－５邋－５邋５邋－５”，“改變”的“３－３－３邋３－３－３”，把每一位進(jìn)

的數(shù)據(jù)是海量的這一特點(diǎn)，我們應(yīng)該考慮使用一些更具效率的存儲(chǔ)。其實(shí)Ｓｉｍｈａｓｈ逡逑算法輸出的Ｓｉｍｈａｓｈ簽名可以為我們很好建立索引，，從而大大減少索引的時(shí)間。逡逑Ｓｉｍｈａｓｈ存儲(chǔ)圖如圖２－２所不。逡逑邐邋邐邐邐邐邐邐邐逡逑；邐ｎ＾ｎ邐Ｉ邋丨１咐邋￣￣１邐Ｉ逡逑°邐邐邋放大；邐邋：逡逑１0邐１０１．．．邋１０１．．邋．邋０１０．．．邋ｉｌＯ．．．邋邐？邋：邋｜邋０００R[]嫞癛[．．．邐：逡逑１邐：邋１邋０邋０邋０邋０邋０邋０邋００邋００邋０邋０邋０邋０￣邋３－＾Ｓ＞邐＜ｓ＞邋Ｉ逡逑ｎ邐重備位邐！邋Ｉ邐．…－邋Ｉ邐＊逡逑邐＝＝＇＂＂＝■邐邋ｉ邋Ｉ邋0000000000（）00Ｏｉｌ邋＼．．．邋＜５＞Ｎ＞邋：逡逑？分枿邐ｉ邐’邐ｓ逡逑0邐＾邐Ｉ」６位邋１邐：邐；逡逑Ｊ邐１０１．．．邋１０１邋．．邋．０１０．．．邋１１０．．．邐：邐＾邐ｉ邐：逡逑0邐：邐１邐１１邋ｉ邋１１１１邋ｎ邋１１１１１邋0邋１邐］—．．．邐：逡逑１邐１邋啦邐：：｜邋１１１１邋ｉｌｌ邋ｍｉｎｉ邋ｉＴｌ￣：逡逑＼邐ｊ邐ｒｎｉＴＴＴＴｎｎ—ｎ＿？命邋Ｉ逡逑0邐：邐＼逡逑圖２－２邋Ｓｉｍｈａｓｈ存儲(chǔ)圖逡逑Ｆｉｇｕｒｅ２－２邋Ｄｉａｇｒａｍ邋ｏｆ邋Ｓｉｍｈａｓｈ邋Ｓｔｏｒｅａｇｅ逡逑我們使用的Ｓｉｍｈａｓｈ是局部敏感哈希，這個(gè)算法的特點(diǎn)是只要相似的字符串逡逑９逡逑
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 于秀麗;王陽(yáng);齊幸輝;;基于樸素貝葉斯的垂直搜索引擎分類(lèi)器設(shè)計(jì)[J];無(wú)線電工程;2015年11期

2 趙龍;江榮安;;基于Hive的海量搜索日志分析系統(tǒng)研究[J];計(jì)算機(jī)應(yīng)用研究;2013年11期

3 吳潔明;冀單單;韓云輝;;基于Web的DCI垂直搜索引擎的研究與設(shè)計(jì)[J];計(jì)算機(jī)工程與設(shè)計(jì);2013年04期

4 馮汝偉;謝強(qiáng);丁秋林;;基于文本聚類(lèi)與分布式Lucene的知識(shí)檢索[J];計(jì)算機(jī)應(yīng)用;2013年01期

5 覃雄派;王會(huì)舉;杜小勇;王珊;;大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J];軟件學(xué)報(bào);2012年01期

6 王新;劉曉霞;;基于關(guān)聯(lián)規(guī)則挖掘的垂直元搜索引擎研究[J];計(jì)算機(jī)工程;2011年04期

7 謝桂蘭;羅省賢;;基于Hadoop MapReduce模型的應(yīng)用研究[J];微型機(jī)與應(yīng)用;2010年08期

8 吳平博,陳群秀,馬亮;基于特征串的大規(guī)模中文網(wǎng)頁(yè)快速去重算法研究[J];中文信息學(xué)報(bào);2003年02期

相關(guān)碩士學(xué)位論文 前2條

1 王朝;面向網(wǎng)上訂餐的垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

2 林印華;垂直搜索引擎在團(tuán)購(gòu)網(wǎng)站中的研究與應(yīng)用[D];中國(guó)海洋大學(xué);2013年

本文編號(hào)：2680772