日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python爬蟲存進數據庫

系統 1819 0
            
              
                import
              
               os
              
                ,
              
              sys

              
                import
              
               requests

              
                import
              
               bs4

              
                import
              
               pymysql

              
                #import MySQLdb
              
              
                #連接MYSQL數據庫  ,第一個參數是ip地址/數據庫的用戶名/密碼/數據庫名稱/端口/編碼格式
              
              
db 
              
                =
              
               pymysql
              
                .
              
              connect
              
                (
              
              host
              
                =
              
              
                '127.0.0.1'
              
              
                ,
              
              user
              
                =
              
              
                'root'
              
              
                ,
              
              password
              
                =
              
              
                'mysql'
              
              
                ,
              
              db
              
                =
              
              
                'test'
              
              
                ,
              
              port
              
                =
              
              
                3306
              
              
                ,
              
              charset
              
                =
              
              
                'utf8'
              
              
                )
              
              
                #db = MySQLdb.connect('127.0.0.1','root','mysql','test',coon.set_character_set('utf8'))
              
              
                print
              
              
                (
              
              
                '連接數據庫成功!'
              
              
                )
              
              
conn 
              
                =
              
               db
              
                .
              
              cursor
              
                (
              
              
                )
              
              
                #cursor是游標對象,獲取指針以操作數據庫
              
              
conn
              
                .
              
              execute
              
                (
              
              
                'set names utf8'
              
              
                )
              
              
                #-------------------------------------------------------------------------------------
              
              
html 
              
                =
              
              
                'https://www.dongmanmanhua.cn/dailySchedule?weekday=MONDAY'
              
              
result 
              
                =
              
               requests
              
                .
              
              get
              
                (
              
              html
              
                )
              
              
texts 
              
                =
              
               result
              
                .
              
              text

data 
              
                =
              
               bs4
              
                .
              
              BeautifulSoup
              
                (
              
              texts
              
                ,
              
              
                'html.parser'
              
              
                )
              
              
                ;
              
              
lidata 
              
                =
              
               data
              
                .
              
              select
              
                (
              
              
                'div#dailyList ul.daily_card li'
              
              
                )
              
              
                #print(lidata)
              
              
arr 
              
                =
              
              
                {
              
              
                }
              
              
                for
              
               x 
              
                in
              
               lidata
              
                :
              
              
    did 
              
                =
              
               x
              
                .
              
              get
              
                (
              
              
                'data-title-no'
              
              
                )
              
              
                print
              
              
                (
              
              did
              
                )
              
              
    name 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'p.subj'
              
              
                )
              
              
    name1 
              
                =
              
               name
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
    url 
              
                =
              
               x
              
                .
              
              a
              
                .
              
              get
              
                (
              
              
                'href'
              
              
                )
              
              
                #print(url)
              
              
    story 
              
                =
              
               x
              
                .
              
              a
              
                .
              
              p
    story1 
              
                =
              
               story
              
                .
              
              string
    user 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'p.author'
              
              
                )
              
              
    user1 
              
                =
              
               user
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
    like 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'em.grade_num'
              
              
                )
              
              
    like1 
              
                =
              
               like
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
                #-----------------------------------------------------------------------------------------------
              
              
                #寫入MYSQL數據庫
              
              
    t 
              
                =
              
              
                [
              
              did
              
                ,
              
              name1
              
                ,
              
              url
              
                ,
              
              story1
              
                ,
              
              user1
              
                ,
              
              like1
              
                ]
              
              
    sql 
              
                =
              
               u
              
                "INSERT INTO dongman(did,name,url,story,user,likes) VALUES(%s,%s,%s,%s,%s,%s)"
              
              
    conn
              
                .
              
              execute
              
                (
              
              sql
              
                ,
              
              t
              
                )
              
              
                #    t1 = (did,name1,url,story1,user1,like1)
              
              
                #    sql1 = u'''insert into dongman(did,name,url,story,user,likes) values (%d,'%s','%s','%s','%s','%s')''' % t1
              
              
                #    conn.execute(sql1)
              
              
    db
              
                .
              
              commit
              
                (
              
              
                )
              
              
                #提交操作
              
              
                print
              
              
                (
              
              
                '插入數據成功!'
              
              
                )
              
              
                #關閉MySQL連接
              
              
conn
              
                .
              
              close
              
                (
              
              
                )
              
              
db
              
                .
              
              close
              
                (
              
              
                )
              
            
          

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 神木县| 华亭县| 浑源县| 渝北区| 绥化市| 许昌县| 元阳县| 双峰县| 甘谷县| 贵州省| 陆丰市| 天津市| 广州市| 无为县| 南涧| 德兴市| 疏附县| 青岛市| 翁源县| 崇礼县| 来安县| 陆河县| 城口县| 耿马| 青铜峡市| 松潘县| 玛纳斯县| 巍山| 泽库县| 偏关县| 阿巴嘎旗| 保康县| 神农架林区| 灌云县| 云霄县| 鹿泉市| 广安市| 石门县| 湟中县| 万山特区| 博白县|