日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

Python按行讀取大文件

系統(tǒng) 1695 0

在工作中遇到一個需求,需要用Python腳本讀取一個13G的文件,把每行的記錄寫入redis。由于機器的內(nèi)存只有8G,所以不能一次將磁盤上的文件全部讀入內(nèi)存,需要一行一行讀取文件。

Python按行讀取文件主要是使用file.readline方法或者利用file對象的迭代器性質(zhì),而file.readlines方法則是一次把所有內(nèi)容從磁盤讀入內(nèi)存。當內(nèi)存足夠時,file.readlines方法顯然會更快,因為磁盤I/O次數(shù)更少。

下面給出了三種遍歷文件每行的方式:

            
              if __name__ == '__main__':
    # Method 1: 通過readlines方法一次把整個文件從磁盤讀入內(nèi)存,在內(nèi)存中遍歷各行    
    with open('test.txt', 'r') as file:
        lines = file.readlines()
        for line in lines:
            print(line)
            
    # Method 3:通過readline方法一次將文件的一行讀入內(nèi)存
    with open('test.txt', 'r') as file:
        while True:
            line = file.readline()
            if line:
                print(line)
            else:
                break
            
    # Method 2: 通過迭代器訪問文件對象,每次將文件的一行從磁盤讀入內(nèi)存
    file = open('test.txt', 'r')
    for line in file:
        print(line)
    file.close()
            
          

?


更多文章、技術交流、商務合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 牙克石市| 香河县| 福州市| 太康县| 黑龙江省| 林西县| 桐庐县| 广宗县| 鄂托克前旗| 黄石市| 柳林县| 望城县| 商丘市| 福清市| 乐亭县| 肇东市| 隆安县| 江油市| 抚宁县| 嘉禾县| 义马市| 伊金霍洛旗| 白山市| 沙坪坝区| 晋城| 阳曲县| 凉城县| 出国| 会宁县| 武安市| 中牟县| 福清市| 临沭县| 阿克苏市| 开平市| 江门市| 灵石县| 定边县| 南城县| 宁海县| 鄂温|