發(fā)布時間：2020-06-07 03:36

【摘要】：隨著大數(shù)據(jù)時代的到來,數(shù)據(jù)量與日俱增,推薦系統(tǒng)也迎來了發(fā)展和挑戰(zhàn)。比如,推薦系統(tǒng)暴露出重合點數(shù)比例高、冷啟動、數(shù)據(jù)稀疏性等問題。本文根據(jù)協(xié)同過濾推薦算法的特點,研究協(xié)同過濾算法中的各種推薦技術(shù)。針對上述問題提出了不同的解決方案,即相似度計算公式的優(yōu)化。首先,為解決重合點數(shù)比例過高的問題,對協(xié)同過濾推薦算法的相似度計算公式提出兩點優(yōu)化。經(jīng)過優(yōu)化得到兩個相似度計算公式:Euclidean-CPARW和Concurrence-RW。在MovieLens100K數(shù)據(jù)集上進行測試,使用均方根誤差作為評價指標(biāo),公式Euclidean-CPARW的推薦精度比其他四種相似度公式的計算結(jié)果提高1%左右;公式Concurrence-RW使用準(zhǔn)確率作為評價標(biāo)準(zhǔn),推薦結(jié)果的準(zhǔn)確率比其他四種相似度公式提高3%左右。其次,為緩和冷啟動問題和數(shù)據(jù)稀疏性問題,提出一種優(yōu)化的混合協(xié)同過濾算法。該算法結(jié)合了電影標(biāo)簽信息,基于優(yōu)化的混合相似度公式BAJ-DCMS,通過評分表中共同評分的數(shù)量,自適應(yīng)的選取一種利于當(dāng)前評分?jǐn)?shù)的相似度公式。公式BAJ-DCMS在MovieLens數(shù)據(jù)集上證明了算法的效果,使用均方根誤差作為評價指標(biāo),計算出的推薦精度比其他兩種相似度公式提高2%左右。最終,實現(xiàn)一個基于Spark大數(shù)據(jù)處理平臺的個性化電影推薦系統(tǒng)。包括Spark大數(shù)據(jù)處理和Scrapy網(wǎng)絡(luò)爬蟲,推薦引擎采用前文敘述的優(yōu)化的混合相似度公式BAJ-DCMS。系統(tǒng)框架使用SSM框架,數(shù)據(jù)存儲使用數(shù)據(jù)庫MySQL和分布式存儲系統(tǒng)HDFS,通過Web瀏覽器與用戶進行人機交互,通過Web可以看到為用戶推薦的個性化電影列表以及每一部電影海報、主頁等信息。
【圖文】：

圖 1-1 各類推薦系統(tǒng)優(yōu)缺點對比圖Netflix，IMDb，，MovieLens 等 Web 網(wǎng)站是一些流行的推薦系統(tǒng)，它們利用數(shù)據(jù)挖掘和數(shù)據(jù)分析的功能來分析與其用戶和電影相關(guān)的各種因素，并根據(jù)這些因素提出建議。伴隨著推薦系統(tǒng)的提出，推薦系統(tǒng)也如雨后春筍般發(fā)展，常見的幾種推薦系統(tǒng)優(yōu)缺點對比如圖 1-1 所示。中國對于協(xié)同過濾算法的探索剛起步不久，目前尚沒有完全成熟且有體系的推薦系統(tǒng)。隨著計算機科學(xué)的發(fā)展以及推薦系統(tǒng)不斷被推廣，推薦系統(tǒng)的技術(shù)一定會取得更進一步的實質(zhì)性的成果，他可以有效的應(yīng)用在電商中，為用戶推薦出適合他們的產(chǎn)品。1.3 本文的系統(tǒng)需求分析1.3.1 推薦引擎的需求

電子科技大學(xué)碩士學(xué)位論文（3）瀏覽相似電影，瀏覽與觀看過電影相似的電影。（4）瀏覽電影想詳情，查看電影的詳情頁，如電影的介紹、演員情況、電影的其他鏈接等。（5）搜索電影，在搜索框輸入電影名字對數(shù)據(jù)庫中電影的搜索�？梢园搭悇e搜索、按熱度搜索、按時間搜索、按名稱搜索、按時間搜索。（6）瀏覽相關(guān)資訊，查看與當(dāng)前電影相關(guān)的評價等。（7）瀏覽推薦電影，根據(jù)用戶平時的電影評分和興趣標(biāo)簽對用戶推薦默認的10 部電影。（8）個人主頁，對個人主頁的信息進行更改。比如編輯個人資料、查看收藏電影、查看評價電影。（9）評價、收藏電影，對觀看或未觀看過的電影做出評價或評分以及收藏等操作。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：J943;TP391.3

【參考文獻】

相關(guān)期刊論文 前10條

1 師秦龍;陳偉;魏浩;;基于物品協(xié)同過濾推薦系統(tǒng)的研究[J];福建電腦;2015年07期

2 查九;李振博;徐桂瓊;;基于組合相似度的優(yōu)化協(xié)同過濾算法[J];計算機應(yīng)用與軟件;2014年12期

3 冷亞軍;陸青;梁昌勇;;協(xié)同過濾推薦技術(shù)綜述[J];模式識別與人工智能;2014年08期

4 榮輝桂;火生旭;胡春華;莫進俠;;基于用戶相似度的協(xié)同過濾推薦算法[J];通信學(xué)報;2014年02期

5 李芬;朱志祥;劉盛輝;;大數(shù)據(jù)發(fā)展現(xiàn)狀及面臨的問題[J];西安郵電大學(xué)學(xué)報;2013年05期

6 鄔賀銓;;大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J];求是;2013年04期

7 孫冬婷;何濤;張福海;;推薦系統(tǒng)中的冷啟動問題研究綜述[J];計算機與現(xiàn)代化;2012年05期

8 朱郁筱;呂琳媛;;推薦系統(tǒng)評價指標(biāo)綜述[J];電子科技大學(xué)學(xué)報;2012年02期

9 許棣華;王志堅;林巧民;黃衛(wèi)東;;一種基于偏好的個性化標(biāo)簽推薦系統(tǒng)[J];計算機應(yīng)用研究;2011年07期

10 湯效琴;;數(shù)據(jù)挖掘中的軟計算方法及其應(yīng)用[J];計算機系統(tǒng)應(yīng)用;2008年03期

相關(guān)博士學(xué)位論文 前1條

1 練建勛;基于多樣化內(nèi)容數(shù)據(jù)的個性化推薦系統(tǒng)[D];中國科學(xué)技術(shù)大學(xué);2018年

相關(guān)碩士學(xué)位論文 前6條

1 李巧巧;面向負載均衡的Spark任務(wù)劃分與調(diào)度策略研究[D];湖南大學(xué);2017年

2 武志強;基于SpringMVC和MyBatis框架的理財規(guī)劃系統(tǒng)的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2016年

3 朱明;基于Hadoop2.0的海量數(shù)據(jù)處理[D];遼寧科技大學(xué);2015年

4 李文棟;基于Spark的大數(shù)據(jù)挖掘技術(shù)的研究與實現(xiàn)[D];山東大學(xué);2015年

5 胡于響;基于Spark的推薦系統(tǒng)的設(shè)計與實現(xiàn)[D];浙江大學(xué);2015年

6 宋瑞平;混合推薦算法的研究[D];蘭州大學(xué);2014年

本文編號：2700777