前言

Python生成器(generator)并不是一個晦澀難懂的概念。相比于MetaClass和Closure等概念，其較為容易理解和掌握。但相對于程序結(jié)構(gòu)：順序、循環(huán)和分支而言其又不是特別的直觀。無論學(xué)習(xí)任何的東西，概念都是非常重要的。正確樹立并掌握一些基礎(chǔ)的概念是靈活和合理運用的前提，本文將以一種通俗易懂的方式介紹一下generator和yield表達(dá)式。

1. Iterator與Iterable

首先明白兩點：

• Iterator(迭代器)是可迭代對象;
• 可迭代對象并不一定是Iterator;

比較常見的數(shù)據(jù)類型list、tuple、dict等都是可迭代的，屬于collections.Iterable類型；

迭代器不僅可迭代還可以被內(nèi)置函數(shù)next調(diào)用，屬于collections.Iterator類型；

迭代器是特殊的可迭代對象，是可迭代對象的一個子集。

將要介紹的gererator(生成器)是types.GeneratorType類型，也是collections.Iterator類型。

也就是說生成器是迭代器，可被next調(diào)用，也可迭代。

三者的包含關(guān)系：（可迭代（迭代器（生成器）））

• 迭代器：可用next()函數(shù)訪問的對象；
• 生成器：生成器表達(dá)式和生成器函數(shù)；

2. Python生成器

python有兩種類型的生成器：生成器表達(dá)式和生成器函數(shù)。

由于生成器可迭代并且是iterator，因此可以通過for和next進(jìn)行遍歷。

2.1 生成器表達(dá)式

把列表生成式的[]改成()便得到生成器表達(dá)式。

            
>>> gen = (i + i for i in xrange(10))
>>> gen

            
              
                 at 0x0000000003A2DAB0>
>>> type(gen)

                
                  
>>> isinstance(gen, types.GeneratorType) and isinstance(gen, collections.Iterator) and isinstance(gen, collections.Iterable)
True
>>>
                
              
            
          

2.2 生成器函數(shù)

python函數(shù)定義中有關(guān)鍵字yield，該函數(shù)便是一個生成器函數(shù)，函數(shù)調(diào)用返回的是一個generator.

            
def yield_func():
  for i in xrange(3):
    yield i
gen_func = yield_func()
for yield_val in gen_func:
  print yield_val
          

生成器函數(shù)每次執(zhí)行到y(tǒng)ield便會返回，但與普通函數(shù)不同的是yield返回時會保留當(dāng)前函數(shù)的執(zhí)行狀態(tài)，再次被調(diào)用時可以從中斷的地方繼續(xù)執(zhí)行。

2.3 next與send

通過for和next可以遍歷生成器，而send則可以用于向生成器函數(shù)發(fā)送消息。

            
def yield_func():
  for i in xrange(1, 3):
    x = yield i
    print 'yield_func',x
gen_func = yield_func()
print 'iter result: %d' % next(gen_func)
print 'iter result: %d' % gen_func.send(100)
          

結(jié)果：

            
iter result: 1
yield_func 100
iter result: 2
          

簡單分析一下執(zhí)行過程：

• line_no 5 調(diào)用生成器函數(shù)yield_func得到函數(shù)生成器gen_func；
• line_no 6 使用next調(diào)用gen_func，此時才真正的開始執(zhí)行yield_func定義的代碼；
• line_no 3 執(zhí)行到y(tǒng)ield i，函數(shù)yield_func暫停執(zhí)行并返回當(dāng)前i的值1.
• line_no 6 next(gen_func)得到函數(shù)yield_func執(zhí)行到y(tǒng)ield i返回的值1，輸出結(jié)果iter result: 1；
• line_no 7 執(zhí)行g(shù)en_func.send(100);
• line_no 3 函數(shù)yield_func繼續(xù)執(zhí)行，并將調(diào)用者send的值100賦值給x;
• line_no 4 輸出調(diào)用者send接收到的值；
• line_no 3 執(zhí)行到y(tǒng)ield i，函數(shù)yield_func暫停執(zhí)行并返回當(dāng)前i的值2.
• line_no 7 執(zhí)行g(shù)en_func.send(100)得到函數(shù)yield_func運行到y(tǒng)ield i返回的值2，輸出結(jié)果iter result: 2；

如果在上面代碼后面再加一行：

            
print 'iter result: %d' % next(gen_func)
          

結(jié)果：

            
iter result: 1
yield_func 100
iter result: 2
yield_func None
File "G:\Cnblogs\Alpha Panda\Main.py", line 22, in 
            
              
  print 'iter result: %d' % next(gen_func)
StopIteration
            
          

yield_func只會產(chǎn)生2個yield，但是我們迭代調(diào)用了3次，會拋出異常StopIteration。

next和send均會觸發(fā)生成器函數(shù)的執(zhí)行，使用for遍歷生成器函數(shù)時不要用send。原因后面解釋。

2.4 生成器返回值

使用了yield的函數(shù)嚴(yán)格來講已經(jīng)不是一個函數(shù)，而是一個生成器。因此函數(shù)中yield和return是不能同時出現(xiàn)的。

SyntaxError: 'return' with argument inside generator

生成器只能通過yield將每次調(diào)用的結(jié)果返回給調(diào)用者。

2.5 可迭代對象轉(zhuǎn)成迭代器

list、tuple、dict等可迭代但不是迭代器的對象可通過內(nèi)置函數(shù)iter轉(zhuǎn)化為iterator，便可以通過next進(jìn)行遍歷；

這樣的好處是可以統(tǒng)一使用next遍歷所有的可迭代對象；

            
tup = (1,2,3)
for ele in tup:
  print ele + ele
          

上面的代碼等價于：

            
tup_iterator = iter(tup)while True:
  try:
    ele = next(tup_iterator)
  except StopIteration:
    break
  print ele + ele
          

for循環(huán)使用next遍歷一個迭代器，混合使用send可能會導(dǎo)致混亂的遍歷流程。

其實到這里生成器相關(guān)的概念基本已經(jīng)介紹完成了，自己動手過一遍應(yīng)該能弄明白了。為了更加深刻的體會生成器，下面我們在往前走一步。

3. range與xrange

在Python 2中這兩個比較常用，看一下兩者的區(qū)別：

• range為一個內(nèi)置函數(shù)，xrange是一個類；
• 前者返回一個list，后者返回一個可迭代對象；
• 后者遍歷操作快于前者，且占用更少內(nèi)存；

這里xrange有點類似于上面介紹的生成器表達(dá)式，雖然xrange返回的并不是生成器，但兩者均返回并不包含全部結(jié)果可迭代對象。

3.1 自定義xrange的Iterator版本

作為一個iterator:

The iterator objects themselves are required to support the following two methods, which together form the iterator protocol:

iterator.__iter__()
Return the iterator object itself. This is required to allow both containers and iterators to be used with the for and in statements. This method corresponds to the tp_iter slot of the type structure for Python objects in the Python/C API.

iterator.next()
Return the next item from the container. If there are no further items, raise the StopIteration exception. This method corresponds to the tp_iternext slot of the type structure for Python objects in the Python/C API.

下面我們自定義class my_xrange:

            
class my_xrange(object):
  def __init__(self, start, stop = None, step = 1):
    """ 僅僅為了演示，假設(shè)start, stop 和 step 均為正整數(shù) """
    self._start = 0 if stop is None else start
    self._stop = start if stop is None else stop
    self._step = step
    self._cur_val = self._start

  def __iter__(self):
    return self
  def next(self):
    if self._start <= self._cur_val < self._stop:
      cur_val = self._cur_val
      self._cur_val += self._step
      return cur_val
    raise StopIteration
          

測試結(jié)果：

            
import collections
myxrange = my_xrange(0, 10, 3)
res = []
for val in myxrange:
  res.append(val)
print res == range(0, 10, 3)　　　# True
print isinstance(myxrange, collections.Iterator)　　# Trueprint isinstance(myxrange, types.GeneratorType)　　# False
          

3.2 使用函數(shù)生成器

下面使用函數(shù)生成器定義一個generator版的xrange。

            
def xrange_func(start, stop, step = 1):
  """ 僅僅為了演示，假設(shè)start, stop 和 step 均為正整數(shù) """
  cur_val = start
  while start <= cur_val and cur_val < stop:
    yield cur_val
    cur_val += step
          

            
isinstance(myxrange, collections.Iterator) and isinstance(myxrange, types.GeneratorType) is True
          

上面兩個自定義xrange版本的例子，均說明生成器以及迭代器保留數(shù)列生成過程的狀態(tài)，每次只計算一個值并返回。這樣只要占用很少的內(nèi)存即可表示一個很大的序列。

4. 應(yīng)用

不管是迭代器還是生成器，對于有大量有規(guī)律的數(shù)據(jù)產(chǎn)生并需要遍歷訪問的情景均適用，占用內(nèi)存少而且遍歷的速度快。其中一個較為經(jīng)典的應(yīng)用為斐波那契數(shù)列(Fibonacci sequence)。

這里以os.walk遍歷目錄為例來說明yield的應(yīng)用。如果我們需要遍歷一個根目錄下的所有文件并根據(jù)需要進(jìn)行增刪改查。可能會遇到下列的問題：

預(yù)先遍歷且緩存結(jié)果，但是目錄下文件可能很多，而且會動態(tài)改變；如果不緩存，多個地方可能會頻繁的需要訪問這一結(jié)果導(dǎo)致效率低下。

這時候可以使用yield定義一個生成器函數(shù)。

            
def get_all_dir_files(target_dir):
  for root, dirs, files in os.walk(target_dir):
    for file in files:
      file_path = os.path.join(root, file)
      yield os.path.realpath(file_path)
def file_factory(file):
  """ do something """
target_dir = './'
all_files = get_all_dir_files(target_dir)
for file in all_files:
  file_factory(file)
          

限于篇幅，就先介紹到這里，希望本文能讓你對生成器有一個新的認(rèn)識。

,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值