隨著互聯(lián)網(wǎng)的迅速發(fā)展，互聯(lián)網(wǎng)大大提升了信息的產(chǎn)生和傳播速度，網(wǎng)絡(luò)上每天都會(huì)產(chǎn)生大量的內(nèi)容，如何高效地從這些雜亂無章的內(nèi)容中發(fā)現(xiàn)并采集所需的信息顯得越來越重要。網(wǎng)絡(luò)中的新聞內(nèi)容也一樣，新聞分布在不同的網(wǎng)站上，而且存在重復(fù)的內(nèi)容，我們往往只關(guān)心其中的一部分新聞，網(wǎng)絡(luò)中的新聞頁面往往還充斥著大量許多與新聞不相關(guān)的信息，影響了我們的閱讀效率和閱讀體驗(yàn)，如何更加方便及時(shí)并高效地獲取我們所關(guān)心的新聞內(nèi)容，本系統(tǒng)能夠幫我們做到這一點(diǎn)。本系統(tǒng)利用網(wǎng)絡(luò)爬蟲我們可以做到對網(wǎng)絡(luò)上的新聞網(wǎng)站進(jìn)行定時(shí)定向的分析和采集，然后把采集到的數(shù)據(jù)進(jìn)行去重，分類等操作后存入數(shù)據(jù)庫，最后提供個(gè)性化的新聞?dòng)嗛喎?wù)。考慮了如何應(yīng)對網(wǎng)站的反爬蟲策略，避免被網(wǎng)站封鎖爬蟲。在具體實(shí)現(xiàn)上會(huì)使用Python配合scrapy等框架來編寫爬蟲，采用特定的內(nèi)容抽取算法來提取目標(biāo)數(shù)據(jù)，最后使用Django加上weui來提供新聞?dòng)嗛喓笈_(tái)和新聞內(nèi)容展示頁，使用微信向用戶推送信息。用戶可以通過本系統(tǒng)訂閱指定關(guān)鍵字，當(dāng)爬蟲系統(tǒng)爬取到了含有指定關(guān)鍵字的內(nèi)容時(shí)會(huì)把新聞推送給用戶。

［關(guān)鍵詞］ 網(wǎng)絡(luò)爬蟲；新聞；個(gè)性化；訂閱；Python

點(diǎn)擊此處下載文檔和源碼