社交媒體近幾年快速發(fā)展,微博逐漸發(fā)展成為了人們?nèi)粘Ｉ钪胁豢苫蛉钡囊环N社交媒體。微博輿情對社會具有極強的影響力,它實時地反映了大眾對各種事件的觀點和態(tài)度,是政府掌握事件輿情和發(fā)展動態(tài)、企業(yè)了解民意的重要渠道。因此及時準(zhǔn)確地分析微博輿情對正確地預(yù)測和控制社會事態(tài)的發(fā)展、對促進國家的經(jīng)濟建設(shè)和維護社會的安定團結(jié)具有極其重要的意義。本文將針對微博輿情分析技術(shù)展開深入研究,包含微博數(shù)據(jù)獲取、微博文本的預(yù)處理、文本聚類以及輿情結(jié)果分析這四個方面。本文的研究工作主要包括以下三個部分:第一部分采用密度峰值算法(CFSFDP)融合K-means算法方式完成微博文本聚類。密度峰值快速準(zhǔn)確地發(fā)現(xiàn)聚類中心彌補K-means算法選取聚類中心時具有隨機性的不足。但密度峰值算法存在截斷距離需手動設(shè)定、聚類中心選取較主觀的缺點。本文提出一種截斷距離選取策略,找出最優(yōu)截斷距離,然后對布局密度以及相對最小距離實行歸一化處理后,引入斜率變化計算方法實現(xiàn)自動化確定聚類中心,最后利用K-means算法簡單易操作的特點迭代聚類。將融合后算法和其他算法進行實驗操作后對比分析,驗證本文算法在文本聚類方面的精確性和穩(wěn)定性,更好地挖掘...

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖3.1微博開放平臺Fig.3.1WeiboOpenPlatform

19第3章微博數(shù)據(jù)采集獲取微博文本是進行輿情分析實驗的前提，微博文本數(shù)據(jù)的采集主要是利用微博搜索界面利用網(wǎng)頁提取技術(shù)來爬取數(shù)據(jù)，采集技術(shù)主要包括基于微博API的采集方式，另一種是手工開發(fā)抓取程序的形式，本文接下來將詳細(xì)介紹這兩種不同的采集方式。3.1微博API數(shù)據(jù)采集方式3.1.....

圖3.4請求數(shù)據(jù)流Fig.3.4RequestDataFlow

23網(wǎng)絡(luò)爬蟲抓取數(shù)據(jù)是通過模擬瀏覽器行為向服務(wù)器發(fā)送請求從而獲得微博文本信息的過程，本章節(jié)主要介紹網(wǎng)絡(luò)爬蟲爬取數(shù)據(jù)的方式中需要解決的關(guān)鍵性的問題：對網(wǎng)頁抓包以及微博站點進行分析，模擬瀏覽器行為請求并開啟微博數(shù)據(jù)爬取，最后對存儲的微博數(shù)據(jù)存儲予以解析。爬蟲方式獲取數(shù)據(jù)流程圖如圖3.....

圖3.5請求相應(yīng)信息Fig.3.5RequestCorrespondingInformation

23網(wǎng)絡(luò)爬蟲抓取數(shù)據(jù)是通過模擬瀏覽器行為向服務(wù)器發(fā)送請求從而獲得微博文本信息的過程，本章節(jié)主要介紹網(wǎng)絡(luò)爬蟲爬取數(shù)據(jù)的方式中需要解決的關(guān)鍵性的問題：對網(wǎng)頁抓包以及微博站點進行分析，模擬瀏覽器行為請求并開啟微博數(shù)據(jù)爬取，最后對存儲的微博數(shù)據(jù)存儲予以解析。爬蟲方式獲取數(shù)據(jù)流程圖如圖3.....

圖3.6微博高級搜索Fig.3.6WeiboAdvancedSearch

24者工具中分析抓包過程。當(dāng)用戶訪問微博點擊登錄時，如圖3.4所示的開發(fā)者模式中可以看到捕捉的登錄請求數(shù)據(jù)流。Network可以查看所有加載的請求。由圖3.5所示，點擊左側(cè)的請求網(wǎng)址，可以通過右側(cè)的Headers看到頭部參數(shù)設(shè)置，這里面包含了請求的URL和相應(yīng)的信息，點擊Resp....

本文編號：3998259