日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python爬蟲練習,爬取數據寫入MySQL數據庫

系統 1762 0

本次爬取內容就選取章節名和章節鏈接作為舉例
url:http://www.xbiquge.la/0/215/
python爬蟲練習,爬取數據寫入MySQL數據庫_第1張圖片
數據庫操作的基本方法:
1):連接數據庫
2):獲取數據庫游標
3):執行sql語句
4):斷開數據庫連接

            
              # 連接數據庫,參數包括IP、用戶名、密碼、對應的庫名
        connect = pymysql.connect('localhost', 'root', 'gui2019', 'python')
        # 數據庫游標
        course = connect.cursor()
        # 插入語句
        sql = "INSERT INTO kongfu values(default, '%s', '%s')  " % (title_name, newUrl)
        try:
            print("正在寫入數據 ---->>>>: ", title_name)
            course.execute(sql)
            connect.commit()
        except Exception as e:
            print('數據寫入失敗!', e)
            connect.rollback()
            connect.close()

            
          

運行效果如圖所示: python爬蟲練習,爬取數據寫入MySQL數據庫_第2張圖片

完整代碼如下:
要運行下面的代碼需要現在mysql創建python數據庫,kongfu表。 表結構如下圖: python爬蟲練習,爬取數據寫入MySQL數據庫_第3張圖片

            
              #  引入第三方庫
import requests
import re
import pymysql

def get_data():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }
    # 小說目錄URL
    url = 'http://www.xbiquge.la/0/215/'
    html = requests.get(url, headers=headers).content.decode('utf-8')
    pat = r"
              
(.*?)
" list = re.findall(pat, html) return list def db_connect(list): for i in list: title_url = i[0] title_name = i[1] newUrl = 'http://www.xbiquge.la' + title_url # 連接數據庫,參數包括IP、用戶名、密碼、對應的庫名 connect = pymysql.connect('localhost', 'root', 'gui2019', 'python') # 數據庫游標 course = connect.cursor() # 插入語句 sql = "INSERT INTO kongfu values(default, '%s', '%s') " % (title_name, newUrl) try: print("正在寫入數據 ---->>>>: ", title_name) course.execute(sql) connect.commit() except Exception as e: print('數據寫入失敗!', e) connect.rollback() connect.close() def main(): list = get_data() db_connect(list) if __name__ == '__main__': main()

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 三亚市| 永仁县| 巴楚县| 榆社县| 平原县| 远安县| 大足县| 尼玛县| 禄劝| 渝北区| 满洲里市| 天等县| 永嘉县| 伊宁县| 汝城县| 银川市| 都匀市| 莎车县| 长治市| 鄄城县| 晴隆县| 福贡县| 陇西县| 闵行区| 育儿| 门头沟区| 嵊州市| 新和县| 洛川县| 油尖旺区| 中山市| 雷州市| 阳新县| 莒南县| 镇赉县| 绥德县| 逊克县| 广宗县| 涪陵区| 定襄县| 金乡县|