網(wǎng)絡(luò)爬蟲是近些年來較為熱門的技術(shù)之一,它被廣泛應(yīng)用于搜索引擎技術(shù),現(xiàn)今技術(shù)不斷發(fā)展成熟,爬蟲不僅僅應(yīng)用于搜索引擎的信息搜集,更多應(yīng)用于定向信息的采集,比如房價(jià)、招聘信息、用戶信息等等。文中以Python及其框架Scrapy環(huán)境為基礎(chǔ),以知乎網(wǎng)站為例,來爬取用戶信息。通過使用Scrapy框架實(shí)現(xiàn)爬蟲,分析整個(gè)爬取的原理,了解爬取的運(yùn)行流程,特別對(duì)反爬蟲策略進(jìn)行優(yōu)化,實(shí)現(xiàn)程序在遠(yuǎn)程服務(wù)器的部署,將信息存儲(chǔ)到時(shí)下較為流行的No-SQL數(shù)據(jù)庫中,最后對(duì)爬取數(shù)據(jù)進(jìn)行分析與展示。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖8MongoDB數(shù)據(jù)庫存儲(chǔ)圖

瓿蓅ettings文件中相關(guān)的配置以及完成項(xiàng)目中數(shù)據(jù)提取的爬蟲文件。項(xiàng)目已初步完成，運(yùn)行該爬蟲查看爬取的結(jié)果，如圖7所示。但是由于機(jī)票數(shù)據(jù)是實(shí)時(shí)更新的，進(jìn)而會(huì)使用分布式爬蟲以及定時(shí)更新，將用戶的需求加入U(xiǎn)RL隊(duì)列進(jìn)行爬取，并且使用Linux下的crontab命令完成定時(shí)爬取數(shù)據(jù)。....

圖8MongoDB數(shù)據(jù)庫存儲(chǔ)圖

瓿蓅ettings文件中相關(guān)的配置以及完成項(xiàng)目中數(shù)據(jù)提取的爬蟲文件。項(xiàng)目已初步完成，運(yùn)行該爬蟲查看爬取的結(jié)果，如圖7所示。但是由于機(jī)票數(shù)據(jù)是實(shí)時(shí)更新的，進(jìn)而會(huì)使用分布式爬蟲以及定時(shí)更新，將用戶的需求加入U(xiǎn)RL隊(duì)列進(jìn)行爬取，并且使用Linux下的crontab命令完成定時(shí)爬取數(shù)據(jù)。....

本文編號(hào)：3999958