日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python編寫(xiě)爬蟲(chóng)小程序

系統(tǒng) 1894 0

起因

深夜忽然想下載一點(diǎn)電子書(shū)來(lái)擴(kuò)充一下kindle,就想起來(lái)python學(xué)得太淺,什么“裝飾器”啊、“多線程”啊都沒(méi)有學(xué)到。
想到廖雪峰大神的python教程很經(jīng)典、很著名。就想找找有木有pdf版的下載,結(jié)果居然沒(méi)找到??!CSDN有個(gè)不完整的還騙走了我一個(gè)積分??!尼瑪!!
怒了,準(zhǔn)備寫(xiě)個(gè)程序直接去爬廖雪峰的教程,然后再html轉(zhuǎn)成電子書(shū)。

過(guò)程

過(guò)程很有趣呢,用淺薄的python知識(shí),寫(xiě)python程序,去爬python教程,來(lái)學(xué)習(xí)python。想想有點(diǎn)小激動(dòng)……
果然python很是方便,50行左右就OK了。直接貼代碼:

            
# coding:utf-8
import urllib

domain = 'http://www.liaoxuefeng.com'      #廖雪峰的域名
path = r'C:\Users\cyhhao2013\Desktop\temp\\'  #html要保存的路徑

# 一個(gè)html的頭文件
input = open(r'C:\Users\cyhhao2013\Desktop\0.html', 'r')
head = input.read()

# 打開(kāi)python教程主界面
f = urllib.urlopen("http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000")
home = f.read()
f.close()

# 替換所有空格回車(這樣容易好獲取url)
geturl = home.replace("\n", "")
geturl = geturl.replace(" ", "")

# 得到包含url的字符串
list = geturl.split(r'em;">
            
              ')

# 開(kāi)始遍歷url List
for li in list:
  url = li.split(r'">')[0]
  url = domain + url       #拼湊url
  print url
  f = urllib.urlopen(url)
  html = f.read()

  # 獲得title為了寫(xiě)文件名
  title = html.split("
              ")[0]

  # 要轉(zhuǎn)一下碼,不然加到路徑里就悲劇了
  title = title.decode('utf-8').replace("/", " ")

  # 截取正文
  html = html.split(r'
                            ')[1]
  html = html.split(r'
              

您的支持是作者寫(xiě)作最大的動(dòng)力!

')[0] html = html.replace(r'src="', 'src="' + domain) # 加上頭和尾組成完整的html html = head + html+"" # 輸出文件 output = open(path + "%d" % list.index(li) + title + '.html', 'w') output.write(html) output.close()

簡(jiǎn)直,人生苦短我用python??!

以上所述就是本文的全部?jī)?nèi)容了,希望大家能夠喜歡。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦?。?!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 盱眙县| 乐昌市| 南投县| 津南区| 安康市| 阳曲县| 博客| 醴陵市| 舞钢市| 大安市| 金湖县| 雅安市| 申扎县| 太仓市| 宝兴县| 麻阳| 凤山县| 澎湖县| 廊坊市| 临澧县| 曲靖市| 堆龙德庆县| 抚顺县| 仙游县| 白玉县| 台江县| 青海省| 西盟| 同心县| 南木林县| 长宁县| 资兴市| 阿拉尔市| 华池县| 南木林县| 潜江市| 清流县| 定日县| 潍坊市| 都安| 明水县|