???????? 爬蟲即網(wǎng)絡爬蟲，英文是 Web Spider 。翻譯過來就是網(wǎng)絡上爬行的蜘蛛，如果把互聯(lián)網(wǎng)看作一張大網(wǎng)，那么爬蟲就是在大網(wǎng)上爬來爬去的蜘蛛，碰到想要的食物，就把他抓取出來。

我們在瀏覽器中輸入一個網(wǎng)址，敲擊回車，看到網(wǎng)站的頁面信息。這就是瀏覽器請求了網(wǎng)站的服務器，獲取到網(wǎng)絡資源。那么，爬蟲也相當于模擬瀏覽器發(fā)送請求，獲得到 HTML 代碼。 HTML 代碼里通常包含了標簽和文字信息，我們就從中提取到我們想要的信息。

通常爬蟲是從某個網(wǎng)站的某個頁面開始，爬取這個頁面的內(nèi)容，找到網(wǎng)頁中的其他鏈接地址，然后從這個地址爬到下一個頁面，這樣一直不停的爬下去，進去批量的抓取信息。那么，我們可以看出網(wǎng)絡爬蟲就是一個不停爬取網(wǎng)頁抓取信息的程序。