Python生成器与yield详解

目录#

生成器的概念
yield关键字的作用
生成器的创建方式
- 生成器函数
- 生成器表达式
生成器的优势
- 内存高效
- 延迟计算
常见实践与最佳实践
- 用于遍历大型数据集
- 结合for循环使用
- 处理无限序列
示例用法
- 简单生成器函数示例
- 生成器表达式示例
- 处理文件内容的生成器示例
总结
参考

1. 生成器的概念#

生成器是一种特殊的迭代器。迭代器是实现了__iter__()和__next__()方法的对象，它允许我们逐个访问集合中的元素。而生成器更进一步，它是一种可以按需生成值的函数或表达式。生成器不会一次性生成所有的值并存储在内存中，而是在需要时生成下一个值，这对于处理大量数据或者无限序列非常有用。

2. `yield`关键字的作用#

yield关键字用于定义生成器函数。当在函数中使用yield时，该函数就变成了一个生成器函数。yield的作用类似于return，但有本质区别。return会终止函数的执行并返回一个值，而yield会暂停函数的执行，保存当前的状态（包括局部变量的值等），并返回一个值。当再次调用生成器的__next__()方法（通常通过for循环隐式调用）时，函数会从上次yield的位置继续执行。

3. 生成器的创建方式#

3.1 生成器函数#

生成器函数是普通函数的“变种”，只是在函数体中使用了yield关键字。例如：

def simple_generator():
    yield 1
    yield 2
    yield 3

我们可以通过以下方式使用这个生成器函数：

gen = simple_generator()
print(next(gen))  # 输出1
print(next(gen))  # 输出2
print(next(gen))  # 输出3
# print(next(gen))  # 会抛出StopIteration异常

3.2 生成器表达式#

生成器表达式类似于列表推导式，但它返回的是一个生成器而不是列表。语法如下：

gen_expr = (x for x in range(5))

我们可以像使用生成器函数返回的生成器一样使用它：

for num in gen_expr:
    print(num)

4. 生成器的优势#

4.1 内存高效#

假设我们要生成一个包含100万个整数的序列。如果使用列表推导式：

my_list = [x for x in range(1000000)]

这会一次性在内存中创建一个包含100万个整数的列表，占用较大的内存空间。而使用生成器表达式：

my_gen = (x for x in range(1000000))

它不会一次性生成所有的整数，而是在每次迭代时生成一个整数，大大节省了内存。

4.2 延迟计算#

生成器只有在需要时才会计算下一个值。例如，我们有一个复杂的计算过程，只有当真正需要获取某个值时，才会执行相应的计算逻辑，避免了不必要的计算开销。

5. 常见实践与最佳实践#

5.1 用于遍历大型数据集#

当处理大型文件或者数据库查询结果集等大型数据集时，使用生成器可以逐行或逐条获取数据，而不是一次性加载所有数据到内存。例如，处理一个非常大的文本文件：

def file_line_generator(file_path):
    with open(file_path, 'r') as file:
        for line in file:
            yield line.strip()

5.2 结合`for`循环使用#

for循环会自动处理生成器的__next__()方法调用和StopIteration异常。所以，在大多数情况下，我们可以直接将生成器用于for循环中：

gen = (x**2 for x in range(5))
for num in gen:
    print(num)

5.3 处理无限序列#

生成器可以用于生成无限序列。例如，生成一个无限的斐波那契数列生成器：

def fibonacci_generator():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a + b

我们可以通过限制循环次数来获取有限个斐波那契数：

fib_gen = fibonacci_generator()
for _ in range(10):
    print(next(fib_gen))

6. 示例用法#

6.1 简单生成器函数示例#

def even_numbers_generator():
    num = 0
    while True:
        yield num
        num += 2

使用方式：

even_gen = even_numbers_generator()
for _ in range(5):
    print(next(even_gen))

6.2 生成器表达式示例#

假设我们有一个列表[1, 2, 3, 4, 5]，我们想生成一个新的生成器，其中每个元素都是原列表元素的平方：

original_list = [1, 2, 3, 4, 5]
square_gen = (x**2 for x in original_list)
for square in square_gen:
    print(square)

6.3 处理文件内容的生成器示例#

假设我们有一个data.txt文件，内容如下：

line1
line2
line3

我们可以使用生成器来逐行处理文件内容：

def process_file_lines(file_path):
    with open(file_path, 'r') as file:
        for line in file:
            yield line.upper().strip()

使用：

file_gen = process_file_lines('data.txt')
for processed_line in file_gen:
    print(processed_line)

7. 总结#

Python的生成器和yield关键字为我们提供了一种高效处理数据的方式。生成器函数通过yield暂停和恢复函数执行，实现按需生成值；生成器表达式则以简洁的语法创建生成器。它们在内存使用和延迟计算方面具有显著优势，适用于处理大型数据集、无限序列等场景。合理运用生成器和yield，可以使我们的Python代码更加高效、简洁。

目录#