文章發出不到30分鐘就被首頁下架了，默哀……

起因

為了督促自己更加積極地寫博客，我希望有一個排名系統能讓我看到自己的進步。但是博客園對用戶的排名體系相對是比較少的，主要是推薦博客排行和積分排行；但它們人數少難度大，短期內難以進入排名。因此我決定自力更生，爬取一份博客園粉絲數排行榜。

重要聲明

為避免誤(封)會(號)，先做如下聲明：

1、本排行榜非官方發布，是我通過爬蟲得到的。

2、爬蟲過程一直堅持網站友好原則：

（1）只查詢網站公開內容（當然，非公開的我也不會）

（2）為避免對服務器造成壓力，一直使用單線程發送請求，且每兩個請求之間都設置了一定時間間隔

爬蟲思路

首先介紹一下爬蟲的思路，不感興趣的朋友可以直接拉到文章最后看結果，或者點擊這里查看：博客園粉絲數排行榜(粉絲數不少于100)

思路基本分兩步：1、初始化種子用戶；2、迭代。

1、初始化種子用戶

這一步的目標，是找到盡可能多的種子用戶，種子用戶最好發過文章，尤其是高質量文章，這樣他們有較大概率有較多的粉絲。

下面是我選取的種子用戶來源，在博客園的對應位置在下圖標出：

• 1、首頁文章作者（200頁）：
• 2、精華文章作者（80+頁）
• 3、編輯推薦文章作者（160+頁）
• 4、推薦博客排行(100+人)
• 5、積分排行榜(3000人)

?

得到種子用戶的用戶名后，便可以在其個人頁面獲取昵稱、粉絲數、園齡、文章首頁等基本信息。例如，榜首（昵稱：孤傲蒼狼）的用戶名是xdp-gacl，則他的個人頁面是：https://home.cnblogs.com/u/xdp-gacl/

2、迭代

迭代的目的是從種子用戶出發，找到其他粉絲數較多的用戶； 方法是獲取種子用戶 “ 關注的人” ——因為被關注的人有較大概率有更多的粉絲。用戶關注的人在這里(還是以榜首孤傲蒼狼為例)：https://home.cnblogs.com/u/xdp-gacl/followees/

因此一輪迭代的步驟是這樣的：

（1）遍歷當前用戶列表，得到他們關注的用戶；

（2）將這些關注的用戶加入到當前用戶列表。

如此循環往復，進行多輪迭代；直到不再有新的用戶為止。

3、不足

有義務說明一下本排行榜的不足之處：

（1）爬取時間主要在5.10-5.19，排行榜不會反映在此期間及之后發生的變化(如用戶粉絲數上漲)。

（2）通過這種方式，肯定無法爬取所有用戶信息，但是粉絲數較多的用戶被爬到的概率要大得多； 因此為了盡可能保證準確性，排行榜只列出了粉絲數不少于 100 的用戶。

（3） 排行究竟漏掉了多少用戶，仍是一個未知數， 如果你認為有什么方法上的漏洞，或者有漏掉的用戶，歡迎討論。

技術

本次爬蟲使用的技術比較常規：語言使用Python3，發送請求使用requests庫，HTML解析使用BeautifulSoup，數據存儲使用Redis；此外，爬蟲過程中還會遇到動態加載頁面、使用cookie進行身份校驗等，都比較常見，不再贅述。

數據存儲之所以選擇Redis，主要是考慮到數據在內存中，訪問快，且Redis提供了豐富的數據類型(如有序集合)，使用起來比較方便；為了保證數據不丟失，一定要保證Redis開啟了持久化，最好開啟AOF持久化。

結果

排行榜(粉絲數不小于100)可以點擊鏈接查看：博客園粉絲數排行榜

前25名截圖如下：

其中：

1、榜首是孤傲蒼狼，有1.8w+粉絲，遙遙領先；在我爬蟲這幾天，漲了幾十名粉絲，實在厲害。

2、粉絲數10000以上的，共有5位；粉絲數1000以上的，有286位；粉絲數100以上的，有3068位。

3、官方賬號博客園團隊有4644位粉絲，排第26位。

4、如果你的目標是進入前100名，至少需要2200+位粉絲；如果你的目標是進入前1000名，至少需要300+位粉絲。