早聽說用python做網絡爬蟲非常方便，正好這幾天單位也有這樣的需求，需要登陸XX網站下載部分文檔，于是自己親身試驗了一番，效果還不錯。本例所登錄的某網站需要提供用戶名，密碼和驗證碼，在此使用了python的urllib2直接登錄網站并處理網站的Cookie。Cookie的工作原理：Cookie由服務端生成，然后發(fā)送給瀏覽器，瀏覽器會將Cookie保存在某個目錄下的文本文件中。在下次請求同一網站時，會發(fā)送該Cookie給服務器，這樣服務器就知道該用戶是否合
系統(tǒng) 2019-09-27 17:53:11 1727
這篇博客做一個爬蟲的實例今天剛看到一個新聞，在7月26日上映的《哪吒之魔童降世》，密鑰第二次延期至10月26日。截止至9月17日，《哪吒之魔童降世》票房已超49億票房，在豆瓣上對該電影的評價有好有壞。說實話，博主看了這個電影真的覺得蠻不錯的，因此把短評中的差評爬取下來，看下差評包括哪些方面。目錄一、BeautifulSoup二、xpath三、正則表達式一、BeautifulSoup首先需要了解下差評文字內容在哪些標簽下：進入豆瓣該電影短評界面，檢查元素：可
系統(tǒng) 2019-09-27 17:53:05 1727
進程是操作系統(tǒng)分配內存的最小單位Python中進程用到的庫multiprocessing簡單的多進程示例frommultiprocessingimportProcessfromtimeimporttime,sleepfromrandomimportrandintdefdownload_task(task_name):print(task_name+'開始下載')time=randint(1,5)sleep(time)print(task_name+f'下載
系統(tǒng) 2019-09-27 17:53:03 1727
如下所示：#coding:utf-8importbinasciia='worker'#先把worker轉換成二進制數(shù)據(jù)然后在用十六進制表示b=binascii.b2a_hex(a)printb#與b2a_hex相反printbinascii.a2b_hex(b)#這個功能和b2a_hex()一樣c=binascii.hexlify(a)printc#這個功能和a2b_hex()一樣printbinascii.unhexlify(c)######運行結果##
系統(tǒng) 2019-09-27 17:52:56 1727
1什么是seleniumSelenium是一個基于瀏覽器的自動化工具，它提供了一種跨平臺、跨瀏覽器的端到端的web自動化解決方案。Selenium主要包括三部分：SeleniumIDE、SeleniumWebDriver和SeleniumGrid：SeleniumIDE：Firefox的一個擴展，它可以進行錄制回放，并可以把錄制的操作以多種語言（例如java，python等）的形式導出成測試用例。SeleniumWebDriver：提供Web自動化所需的A
系統(tǒng) 2019-09-27 17:52:52 1727
今天接著跟大家總結Python爬蟲面試中常見的高頻面試題。有需要的伙伴用心看啦！1.Request中包含什么呢？1、請求方式：主要有GET和POST兩種方式,POST請求的參數(shù)不會包含在url里面2、請求URLURL：統(tǒng)一資源定位符，如一個網頁文檔、一張圖片、一個視頻等都可以用URL來唯一確定3、請求頭信息,包含了User-Agent（瀏覽器請求頭）、Host、Cookies信息4、請求體,GET請求時，一般不會有，POST請求時，請求體一般包含form-
系統(tǒng) 2019-09-27 17:52:44 1727
知識匯總：1-Python語言里一切數(shù)據(jù)都是對象2-整數(shù)：1-python2:int----long（長整數(shù)）2-python3:中只有int沒有l(wèi)ong3-怎么查看類型---type(100)--有返回值--該類型---3-浮點數(shù)--小數(shù)：type(3.0)------沒有double4-數(shù)字的運算：1-加法+2-減法-3-乘法*4-除法/1-在python39/4==2.25肯定帶小數(shù)點等價python2-9//4==22-在python29/4==2
系統(tǒng) 2019-09-27 17:52:42 1727
#使用StandardScaler進行數(shù)據(jù)預處理importnumpyimportmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_blobsX,y=make_blobs(n_samples=40,centers=2,random_state=50,cluster_std=2)plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.cool)plt.show()#導入Sta
系統(tǒng) 2019-09-27 17:52:41 1727
psutil（進程和系統(tǒng)實用程序）是一個跨平臺的庫，用于在Python中檢索有關運行進程和系統(tǒng)利用率（CPU，內存，磁盤，網絡，傳感器）的信息。它主要用于系統(tǒng)監(jiān)視，分析和限制流程資源以及運行流程的管理。它實現(xiàn)了UNIX命令行工具提供的許多功能，例如：ps，top，lsof，netstat，ifconfig，who，df，kill，free，nice，ionice，iostat，iotop，uptime，pidof，tty，taskset，pmap。psut
系統(tǒng) 2019-09-27 17:52:36 1727
1.鎖：Lock(1次放1個)同步鎖線程安全，多線程操作時，內部會讓所有線程排隊處理。如：list/dict/Queue線程不安全+人=>排隊處理。需求：a.創(chuàng)建100個線程，在列表中追加8b.創(chuàng)建100個線程v=[]鎖-把自己的添加到列表中。-在讀取列表的最后一個。解鎖以后鎖一個代碼塊：importthreadingimporttimev=[]lock=threading.Lock()deffunc(arg):lock.acquire()#鎖的區(qū)域---
系統(tǒng) 2019-09-27 17:52:33 1727
