python生成器yield next_python yield next-优快云博客

本文链接：https://blog.youkuaiyun.com/NCU_wander/article/details/104377564

在实践keras网络模型的时候，发现keras fit_generator与flow_from_directory函数均有关于生成器的频繁使用；因此在本文中对其进行总结。Python 之所以要提供这样的解决方案，是因为在很多时候，我们只是需要逐个顺序访问容器内的元素。大多数时候，我们不需要「一口气获取容器内所有的元素」。这个特性使得生成器函数被广泛的应用于 keras 等深度学习框架的数据生成环节

他山之石

博文yield生成器总结的生成器知识点，精简全面。

可迭代对象(Iterable)是实现了__iter__()方法的对象，通过调用iter()方法可以获得一个迭代器(Iterator)
迭代器(Iterator)是实现了__iter__()和__next__()的对象
for … in …的迭代，实际是将可迭代对象转换成迭代器，再重复调用next()方法实现的
生成器(generator)是一个特殊的迭代器，它的实现更简单优雅。
yield是生成器实现__next__()方法的关键。它作为生成器执行的暂停恢复点，可以对yield表达式进行赋值，也可以将yield表达式的值返回。

迭代器

迭代（iteration）、迭代器（iteration）、可迭代（iterable）：迭代是一种操作，迭代器是一种对象，可迭代是对象的一种特性。

迭代：很多数据都是「容器」；它们包含了很多其他类型的元素。实际使用容器时，我们常常需要逐个获取其中的元素。逐个获取元素的过程，就是「迭代」。

可迭代：很多数据都是「容器」；它们包含了很多其他类型的元素。实际使用容器时，我们常常需要逐个获取其中的元素。逐个获取元素的过程，就是「迭代」。

迭代器：迭代器抽象的是一个「数据流」，是只允许迭代一次的对象。对迭代器不断调用 next() 方法，则可以依次获取下一个元素；当迭代器中没有元素时，调用 next() 方法会抛出 StopIteration 异常。迭代器的 __iter__() 方法返回迭代器自身；因此迭代器也是可迭代的。

Python 中的顺序类型，都是可迭代的（list, tuple, string）；其余包括 dict、 set、file 也是可迭代的。对于用户自己实现的类型，如果提供了 __iter__() 或者 __getitem__() 方法，那么该类的对象也是可迭代的。

注意： Python 中的迭代器协议和 Python 中的 for 循环是紧密相连的：

#iterator protocol and for loop
for x in something:
    print(x)

Python 处理 for 循环时，首先会调用内建函数 iter(something)，它实际上会调用 something.__iter__()，返回 something 对应的迭代器。而后for 循环会调用内建函数 next()，作用在迭代器上，获取迭代器的下一个元素，并赋值给 x。此后，Python 才开始执行循环体。
相关透彻解释见：DataTowordScience；Python-iterator；谨在此截取部分语句。

fruits = ("apple", "pineapple", "blueberry")
iterator = enumerate(fruits)
print(type(iterator))
print(next(iterator))
打印语句：<class 'enumerate'>
        (0, 'apple')

# define a list
my_list = [4, 7, 0, 3]
# get an iterator using iter()
my_iter = iter(my_list)

## iterate through it using next() 
#prints 4
print(next(my_iter))
#prints 7
print(next(my_iter))

## next(obj) is same as obj.__next__()
#prints 0
print(my_iter.__next__())
#prints 3
print(my_iter.__next__())

## This will raise error, no items left
next(my_iter)

生成器

生成器函数（generator function）和生成器（generator）生成器函数是一种特殊的函数；生成器则是特殊的迭代器。

如果一个函数包含 yield 表达式，那么它是一个生成器函数；调用它会返回一个特殊的迭代器，称为生成器。

import time
def func(n):
    for i in range(0, n):
        print('func: ', i)
        yield i
 
f = func(10)
while True:
    print(next(f))
    time.sleep(1)
print(next(f))

如果一个函数定义中包含 yield 表达式，那么该函数是一个生成器函数（而非普通函数）。实际上，yield 仅能用于定义生成器函数。

def square():
    for x in range(4):
        yield x ** 2
square_gen = square()
for x in square_gen:
    print(x)

前面说到，for 循环会调用 iter() 函数，获取一个生成器；而后调用 next() 函数，将生成器中的下一个值赋值给 x；再执行循环体。因此，上述 for 循环基本等价于：

genitor = square_gen.__iter__()
while True:
    x = geniter.next() # Python 3 是 __next__()
    print(x)

注意到，square 是一个生成器函数；作为它的返回值，square_gen 已经是一个迭代器；迭代器的 __iter__() 返回它自己。因此 geniter 对应的生成器函数，即是 square。

每次执行到 x = geniter.next() 时，square 函数会从上一次暂停的位置开始，一直执行到下一个 yield 表达式，将 yield 关键字后的表达式列表返回给调用者，并再次暂停。注意，每次从暂停恢复时，生成器函数的内部变量、指令指针、内部求值栈等内容和暂停时完全一致。

生成器的方法

生成器有一些方法。调用这些方法可以控制对应的生成器函数；不过，若是生成器函数已在执行过程中，调用这些方法则会抛出 ValueError 异常。

generator.next()：从上一次在 yield 表达式暂停的状态恢复，继续执行到下一次遇见 yield 表达式。当该方法被调用时，当前 yield 表达式的值为 None，下一个 yield 表达式中的表达式列表会被返回给该方法的调用者。若没有遇到 yield 表达式，生成器函数就已经退出，那么该方法会抛出 StopIterator 异常。

generator.send(value)：和 generator.next() 类似，差别仅在与它会将当前 yield 表达式的值设置为 value。

generator.throw(type[, value[, traceback]])：向生成器函数抛出一个类型为 type 值为 value 调用栈为 traceback 的异常，而后让生成器函数继续执行到下一个 yield 表达式。其余行为与 generator.next() 类似。

generator.close()：告诉生成器函数，当前生成器作废不再使用。