文件操作對編程語言的重要性不用多說，如果數(shù)據(jù)不能持久保存，信息技術(shù)也就失去了意義。按照本人經(jīng)驗，IO也是蠻頭疼的一件事，因為不會用得太多，所以總是記不住API，每次都要重新google就會打斷思路，還不一定每次都快速得到正確的文章。

本文內(nèi)容包括：

? ? 文件的讀寫操作

? ? 文件的各種系統(tǒng)操作

? ? 存儲對象

?

遍歷文件

上代碼：

?

            import os
import os.path
rootdir = "d:/code/su/data"                                   # 指明被遍歷的文件夾

for parent,dirnames,filenames in os.walk(rootdir):    #三個參數(shù)：分別返回1.父目錄 2.所有文件夾名字（不含路徑） 3.所有文件名字
    for dirname in  dirnames:                       #輸出文件夾信息
        print "parent is:" + parent
        print  "dirname is" + dirname
    
    for filename in filenames:                        #輸出文件信息
        print "parent is:" + parent
        print "filename is:" + filename
        print "the full name of the file is:" + os.path.join(parent,filename) #輸出文件路徑信息
          

?

?

? ? 按照博主的理解，每個元組代表的含義是線程處于某一個狀態(tài)的影像。目錄樹的遍歷過程就是由這一個一個的狀態(tài)構(gòu)成的。在每個狀態(tài)下， 線程獲得一個目錄節(jié)點，同時獲得這個目錄節(jié)點下的所有目錄節(jié)點和文件節(jié)點。

?

如果只需要獲得單個目錄節(jié)點的子節(jié)點：

os.listdir(rootdir)

?

?

基于字符read & write

最基本的文件操作當(dāng)然就是在文件中讀寫數(shù)據(jù)。這也是很容易掌握的。現(xiàn)在打開一個文件以進行寫操作：

1. fileHandle = open ( 'test.txt', 'w' )

fileHandle = open ( 'test.txt', 'w' )

‘w'是指文件將被寫入數(shù)據(jù)，語句的其它部分很好理解。下一步就是將數(shù)據(jù)寫入文件：

1. fileHandle.write ( 'This is a test.\nReally, it is.' )

fileHandle.write ( 'This is a test.\nReally, it is.' )

這個語句將“This is a test.”寫入文件的第一行，“Really, it is.”寫入文件的第二行。最后，我們需要做清理工作，并且關(guān)閉文件：

1. fileHandle.close()

fileHandle.close()

正如你所見，在Python的面向?qū)ο髾C制下，這確實非常簡單。需要注意的是，當(dāng)你再次使用“w”方式在文件中寫數(shù)據(jù)，所有原來的內(nèi)容都會被刪除。如果想保留原來的內(nèi)容，可以使用“a”方式在文件中結(jié)尾附加數(shù)據(jù)：

1. fileHandle = open ( 'test.txt', 'a' )
2. fileHandle.write ( '\n\nBottom line.' )
3. fileHandle.close()

fileHandle = open ( 'test.txt', 'a' )
fileHandle.write ( '\n\nBottom line.' )
fileHandle.close()

然后，我們讀取test.txt，并將內(nèi)容顯示出來：

1. fileHandle = open ( 'test.txt' )
2. print fileHandle.read()
3. fileHandle.close()

fileHandle = open ( 'test.txt' )
print fileHandle.read()
fileHandle.close()

以上語句將讀取整個文件并顯示其中的數(shù)據(jù)。

?

基于行的讀寫 line

1. fileHandle = open ( 'test.txt' )??
2. print fileHandle.readline() # "This is a test."??
3. fileHandle.close()??

fileHandle = open ( 'test.txt' )?
print fileHandle.readline() # "This is a test."?
fileHandle.close()?


同時，也可以將文件內(nèi)容保存到一個list中：?

1. fileHandle = open ( 'test.txt' )??
2. fileList = fileHandle.readlines() ?
3. for fileLine in fileList:??
4.???? print '>>', fileLine??
5. fileHandle.close()??

fileHandle = open ( 'test.txt' )?
fileList = fileHandle.readlines()?
for fileLine in fileList:?
print '>>', fileLine?
fileHandle.close()?

?

或者在文件中一次讀取幾個字節(jié)的內(nèi)容：

1. fileHandle = open ( 'test.txt' )?
2. print fileHandle.read ( 1 ) # "T"?
3. fileHandle.seek ( 4 )?
4. print FileHandle.read ( 1 ) # " "(原文有錯)

fileHandle = open ( 'test.txt' )?
print fileHandle.read ( 1 ) # "T"?
fileHandle.seek ( 4 )?
print FileHandle.read ( 1 ) # " "(原文有錯)

?

隨機訪問文件中的位置 seek

Python在讀取一個文件時，會記住其在文件中的位置，如下所示：

1. fileHandle = open ( 'test.txt' )
2. garbage = fileHandle.readline()
3. fileHandle.readline() # "Really, it is."fileHandle.close()

fileHandle = open ( 'test.txt' )
garbage = fileHandle.readline()
fileHandle.readline() # "Really, it is."fileHandle.close()

可以看到，只有第二行顯示出來。然而，我們可以讓Python從頭開始讀來解決這個問題：

1. fileHandle = open ( 'test.txt' )
2. garbage = fileHandle.readline()
3. fileHandle.seek ( 0 )
4. print fileHandle.readline() # "This is a test."
5. fileHandle.close()

fileHandle = open ( 'test.txt' )
garbage = fileHandle.readline()
fileHandle.seek ( 0 )
print fileHandle.readline() # "This is a test."
fileHandle.close()

在上面這個例子中，我們讓Python從文件第一個字節(jié)開始讀取數(shù)據(jù)。所以，第一行文字顯示了出來。當(dāng)然，我們也可以獲取Python在文件中的位置：

1. fileHandle = open ( 'test.txt' )
2. print fileHandle.readline() # "This is a test."
3. print fileHandle.tell() # "17"
4. print fileHandle.readline() # "Really, it is."

fileHandle = open ( 'test.txt' )
print fileHandle.readline() # "This is a test."
print fileHandle.tell() # "17"
print fileHandle.readline() # "Really, it is."

?

二進制方式讀寫

在Windows和Macintosh環(huán)境下，有時可能需要以二進制方式讀寫文件，比如圖片和可執(zhí)行文件。此時，只要在打開文件的方式參數(shù)中增加一個“b”即可：

1. fileHandle = open ( 'testBinary.txt', 'wb' )
2. fileHandle.write ( 'There is no spoon.' )
3. fileHandle.close()

fileHandle = open ( 'testBinary.txt', 'wb' )
fileHandle.write ( 'There is no spoon.' )
fileHandle.close()

1. fileHandle = open ( 'testBinary.txt', 'rb' )
2. print fileHandle.read()
3. fileHandle.close()

fileHandle = open ( 'testBinary.txt', 'rb' )
print fileHandle.read()
fileHandle.close()

?

?

python本身并沒有對二進制進行支持，不過提供了一個模塊來彌補，就是struct模塊。

python沒有二進制類型，但可以存儲二進制類型的數(shù)據(jù)，就是用string字符串類型來存儲二進制數(shù)據(jù)，這也沒關(guān)系，因為string是以1個字節(jié)為單位的。

import struct

a=12.34

#將a變?yōu)槎M制

bytes=struct.pack('i',a)

此時bytes就是一個string字符串，字符串按字節(jié)同a的二進制存儲內(nèi)容相同。

?

再進行反操作

現(xiàn)有二進制數(shù)據(jù)bytes，（其實就是字符串），將它反過來轉(zhuǎn)換成python的數(shù)據(jù)類型：

a,=struct.unpack('i',bytes)

注意，unpack返回的是tuple

所以如果只有一個變量的話：

bytes=struct.pack('i',a)

那么，解碼的時候需要這樣

a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)

如果直接用a=struct.unpack('i',bytes)，那么 a=(12.34,) ，是一個tuple而不是原來的浮點數(shù)了。

如果是由多個數(shù)據(jù)構(gòu)成的，可以這樣：

?

a='hello'

b='world!'

c=2

d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)

此時的bytes就是二進制形式的數(shù)據(jù)了，可以直接寫入文件比如 binfile.write(bytes)

然后，當(dāng)我們需要時可以再讀出來，bytes=binfile.read()

再通過struct.unpack()解碼成python變量
a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'這個叫做fmt，就是格式化字符串，由數(shù)字加字符構(gòu)成，5s表示占5個字符的字符串，2i，表示2個整數(shù)等等，下面是可用的字符及類型，ctype表示可以與python中的類型一一對應(yīng)。

?

===============================================================================================

各種系統(tǒng)操作

?

注意：雖然python中提供了各種拼接目錄的函數(shù)，但是經(jīng)本人實驗，函數(shù)并不能保證字符編碼不出問題，很大可能導(dǎo)致程序錯誤。所以最好還是自己拼接。

?

python中對文件、文件夾（文件操作函數(shù)）的操作需要涉及到os模塊和shutil模塊。

得到當(dāng)前工作目錄，即當(dāng)前Python腳本工作的目錄路徑: os.getcwd()

返回指定目錄下的所有文件和目錄名:os.listdir()

函數(shù)用來刪除一個文件:os.remove()

刪除多個目錄：os.removedirs（r“c：\python”）

檢驗給出的路徑是否是一個文件：os.path.isfile()

檢驗給出的路徑是否是一個目錄：os.path.isdir()

判斷是否是絕對路徑：os.path.isabs()

檢查是否快捷方式os.path.islink ( filename?)

檢驗給出的路徑是否真地存:os.path.exists()

返回一個路徑的目錄名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 結(jié)果：('/home/swaroop/byte/code', 'poem.txt')

分離擴展名：os.path.splitext()

獲取路徑名：os.path.dirname()

獲取文件名：os.path.basename()

運行shell命令: os.system()

讀取和設(shè)置環(huán)境變量:os.getenv() 與os.putenv()

給出當(dāng)前平臺使用的行終止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'

指示你正在使用的平臺：os.name 對于Windows，它是'nt'，而對于Linux/Unix用戶，它是'posix'

重命名：os.rename（old， new）

創(chuàng)建多級目錄：os.makedirs（r“c：\python\test”）

創(chuàng)建單個目錄：os.mkdir（“test”）

獲取文件屬性：os.stat（file）

修改文件權(quán)限與時間戳：os.chmod（file）

終止當(dāng)前進程：os.exit（）

獲取文件大小：os.path.getsize（filename）

文件操作：
os.mknod("test.txt") 創(chuàng)建空文件
fp = open("test.txt",w) 直接打開一個文件，如果文件不存在則創(chuàng)建文件

關(guān)于open 模式：

w 以寫方式打開，
a 以追加模式打開 (從 EOF 開始, 必要時創(chuàng)建新文件)
r+ 以讀寫模式打開
w+ 以讀寫模式打開 (參見 w )
a+ 以讀寫模式打開 (參見 a )
rb 以二進制讀模式打開
wb 以二進制寫模式打開 (參見 w )
ab 以二進制追加模式打開 (參見 a )
rb+ 以二進制讀寫模式打開 (參見 r+ )
wb+ 以二進制讀寫模式打開 (參見 w+ )
ab+ 以二進制讀寫模式打開 (參見 a+ )

?

fp.read([size]) #size為讀取的長度，以byte為單位

fp.readline([size]) #讀一行，如果定義了size，有可能返回的只是一行的一部分

fp.readlines([size]) #把文件每一行作為一個list的一個成員，并返回這個list。其實它的內(nèi)部是通過循環(huán)調(diào)用readline()來實現(xiàn)的。如果提供size參數(shù)，size是表示讀取內(nèi)容的總長，也就是說可能只讀到文件的一部分。

fp.write(str) #把str寫到文件中，write()并不會在str后加上一個換行符

fp.writelines(seq) #把seq的內(nèi)容全部寫到文件中(多行一次性寫入)。這個函數(shù)也只是忠實地寫入，不會在每行后面加上任何東西。

fp.close() #關(guān)閉文件。python會在一個文件不用后自動關(guān)閉文件，不過這一功能沒有保證，最好還是養(yǎng)成自己關(guān)閉的習(xí)慣。 如果一個文件在關(guān)閉后還對其進行操作會產(chǎn)生ValueError

fp.flush() #把緩沖區(qū)的內(nèi)容寫入硬盤

fp.fileno() #返回一個長整型的”文件標(biāo)簽“

fp.isatty() #文件是否是一個終端設(shè)備文件（unix系統(tǒng)中的）

fp.tell() #返回文件操作標(biāo)記的當(dāng)前位置，以文件的開頭為原點

fp.next() #返回下一行，并將文件操作標(biāo)記位移到下一行。把一個file用于for … in file這樣的語句時，就是調(diào)用next()函數(shù)來實現(xiàn)遍歷的。

fp.seek(offset[,whence]) #將文件打操作標(biāo)記移到offset的位置。這個offset一般是相對于文件的開頭來計算的，一般為正數(shù)。但如果提供了whence參數(shù)就不一定了，whence可以為0表示從頭開始計算，1表示以當(dāng)前位置為原點計算。2表示以文件末尾為原點進行計算。需要注意，如果文件以a或a+的模式打開，每次進行寫操作時，文件操作標(biāo)記會自動返回到文件末尾。

fp.truncate([size]) #把文件裁成規(guī)定的大小，默認(rèn)的是裁到當(dāng)前文件操作標(biāo)記的位置。如果size比文件的大小還要大，依據(jù)系統(tǒng)的不同可能是不改變文件，也可能是用0把文件補到相應(yīng)的大小，也可能是以一些隨機的內(nèi)容加上去。

?

目錄操作：
os.mkdir("file") 創(chuàng)建目錄
復(fù)制文件：
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") oldfile只能是文件夾，newfile可以是文件，也可以是目標(biāo)目錄
復(fù)制文件夾：
shutil.copytree("olddir","newdir") olddir和newdir都只能是目錄，且newdir必須不存在
重命名文件（目錄）
os.rename("oldname","newname") 文件或目錄都是使用這條命令
移動文件（目錄）
shutil.move("oldpos","newpos")
刪除文件
os.remove("file")
刪除目錄
os.rmdir("dir")只能刪除空目錄
shutil.rmtree("dir") 空目錄、有內(nèi)容的目錄都可以刪
轉(zhuǎn)換目錄
os.chdir("path") 換路徑

?

ps: 文件操作時，常常配合正則表達式：

img_dir = img_dir.replace('\\','/')

===============================================================================================

?存儲對象

?

?

使用前一節(jié)中介紹的模塊，可以實現(xiàn)在文件中對字符串的讀寫。
然而，有的時候，你可能需要傳遞其它類型的數(shù)據(jù)，如list、tuple、dictionary和其它對象。在Python中，你可以使用Pickling來完成。你可以使用Python標(biāo)準(zhǔn)庫中的“pickle”模塊完成數(shù)據(jù)編組。
下面，我們來編組一個包含字符串和數(shù)字的list：

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. testList = [ 'This', 2, 'is', 1, 'a', 0, 'test.' ]
5. pickle.dump ( testList, fileHandle )
6. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt', 'w' )
testList = [ 'This', 2, 'is', 1, 'a', 0, 'test.' ]
pickle.dump ( testList, fileHandle )
fileHandle.close()

拆分編組同樣不難：

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt' )
4. testList = pickle.load ( fileHandle )
5. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt' )
testList = pickle.load ( fileHandle )
fileHandle.close()

現(xiàn)在試試存儲更加復(fù)雜的數(shù)據(jù)：

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. testList = [ 123, { 'Calories' : 190 }, 'Mr. Anderson', [ 1, 2, 7 ] ]
5. pickle.dump ( testList, fileHandle )
6. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt', 'w' )
testList = [ 123, { 'Calories' : 190 }, 'Mr. Anderson', [ 1, 2, 7 ] ]
pickle.dump ( testList, fileHandle )
fileHandle.close()

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt' )
4. testList = pickle.load ( fileHandle )
5. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt' )
testList = pickle.load ( fileHandle )
fileHandle.close()

如上所述，使用Python的“pickle”模塊編組確實很簡單。眾多對象可以通過它來存儲到文件中。如果可以的話，“cPickle”同樣勝任這個工作。它和“pickle”模塊一樣，但是速度更快：

1. import cPickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. cPickle.dump ( 1776, fileHandle )
5. fileHandle.close()

import cPickle

fileHandle = open ( 'pickleFile.txt', 'w' )
cPickle.dump ( 1776, fileHandle )
fileHandle.close()

?

?

字符串匹配

對于簡單的數(shù)據(jù)，使用流文本文件而不是數(shù)據(jù)庫更簡單明了，也就少不了文件操作和字符串匹配的需求。

re模塊的search和match方法是匹配到就返回，而不是去匹配所有，而findall()則匹配所有返回數(shù)組。
　>>> m=re.findall("^a\w+","abcdfa\na1b2c3",re.MULTILINE)
　>>> m
　['abcdfa', 'a1b2c3']

?