python核心技术与实战学习笔记(十一):深入理解迭代器与生成器

本文深入探讨Python中迭代器与生成器的概念、作用及使用技巧,对比容器与生成器,详解生成器如何节省内存并提高效率,附带代码示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

11.1 容器,可迭代对象和迭代器

  • 容器:对象的集合,如列表、元组、字典、集合
  • 所有容器都是可迭代的(iterable)
  • 迭代器(iterator)提供了next()方法,调用这个方法,要么得到容器的下一个对象,要么得到一个StopIteration的错误。next()可以一个不漏地一个一个拿到容器中的所有对象

11.2 生成器

11.2.1 生成器的概念:

  • 通过列表解析我们可以生成一个列表来访问列表中的值,但如果我们仅仅需要访问前面几个元素,若采用列表解析的话,则其实生成完整的列表浪费了很多空间。所以,若列表元素能按照某种算法推算出来,我们就大可不必创建完整的list,一边循环一边计算,称为生成器generator
  • 生成器是迭代器的一种,使用yield返回,每次调用yield会暂停
  • 迭代器是一个有限集合,生成器则可以成为一个无限集,配合next(generator)生成下一个对象

11.2.2 生成器的作用

不同于一般的容器会包含所有计算要用到的对象,生成器一次只能产生一个值,这样消耗的内存数量将大大减小,而且允许调用函数可以很快地处理前几个返回值;同时,生成器使得函数可以“保留现场”,当下一次执行该函数是从上一次结束的地方开始,而不是重新再来

11.2.3 生成器的使用

生成器是特殊的迭代器,在python的写法有:

  • 使用小括号括起来,如(i for i in range(100000000)),即初始化了一个生成器
  • 使用yield代替return,函数变为生成器;在外部配合next()函数生成下一个对象

示例1

以下以验证 ( 1 + 2 + 3 + . . . ) 2 (1+2+3+...)^2 (1+2+3+...)2 = 1 3 + 2 3 + 3 3 + . . . 1^3 + 2^3 + 3^3 + ... 13+23+33+...这个公式的代码为例,说明生成器的使用方法。

def generator(k):
    i = 1
    while True:
        yield i ** k
        i += 1

gen_1 = generator(1)
gen_3 = generator(3)  # 传入k=3
print(gen_1)
print(gen_3)

def get_sum(n):
    sum_1, sum_3 = 0, 0
    for i in range(n):  # 每一轮,两个生成器都生成下一个对象以供使用
        next_1 = next(gen_1)
        next_3 = next(gen_3)
        print('next_1 = {}, next_3 = {}'.format(next_1, next_3))
        sum_1 += next_1
        sum_3 += next_3
    print(sum_1 * sum_1, sum_3)

get_sum(8)

########## 输出 ##########

<generator object generator at 0x000001E70651C4F8>
<generator object generator at 0x000001E70651C390>
next_1 = 1, next_3 = 1
next_1 = 2, next_3 = 8
next_1 = 3, next_3 = 27
next_1 = 4, next_3 = 64
next_1 = 5, next_3 = 125
next_1 = 6, next_3 = 216
next_1 = 7, next_3 = 343
next_1 = 8, next_3 = 512
1296 1296

示例2

给定一个list和一个数字,返回该数字在list中的下标位置

常规写法:

def index_normal(L, target):
    result = []
    for i, num in enumerate(L):
        if num == target:
            result.append(i)
    return result

print(index_normal([1, 6, 2, 4, 5, 2, 8, 6, 3, 2], 2))

########## 输出 ##########

[2, 5, 9]

使用生成器的写法:

def index_generator(L, target):
    for i, num in enumerate(L):
        if num == target:
            yield i

print(list(index_generator([1, 6, 2, 4, 5, 2, 8, 6, 3, 2], 2)))

########## 输出 ##########

[2, 5, 9]

示例3

给定两个序列,判断第一个序列s是否为第二个序列t的子序列。

常规写法:利用两个指针i,j分别指向两个序列,依次遍历第二个序列,判断t[j] == s[i],若条件成立则两个指针后移一位,若不成立则继续遍历t序列;当i = = == == len(s)时,即遍历完序列s后,返回True

使用迭代器和生成器的写法:

def is_subsequence(a, b):
    b = iter(b)   # 使用迭代器
    return all(i in b for i in a)  # 使用生成器

print(is_subsequence([1, 3, 5], [1, 2, 3, 4, 5]))
print(is_subsequence([1, 4, 3], [1, 2, 3, 4, 5]))

########## 输出 ##########

True
False

仅用3行代码就完成了目标函数的定义。其中,(i in b) for i in a实际上使用了生成器;all()函数判断iterable对象的元素是否全为True

对于i in iterator的用法,举个例子就清楚了:

b = (i for i in range(5))  # b = iter([0,1,2,3,4])也一样
print(2 in b)
print(3 in b)
print(0 in b)
=========================
True
True
False

相比与第一种解法,使用生成器和迭代器使得在不知道序列的长度的前提下,也能优雅地进行遍历操作,不用操心控制越界报错的问题

### RT-DETRv3 网络结构分析 RT-DETRv3 是一种基于 Transformer 的实时端到端目标检测算法,其核心在于通过引入分层密集正监督方法以及一系列创新性的训练策略,解决了传统 DETR 模型收敛慢和解码器训练不足的问题。以下是 RT-DETRv3 的主要网络结构特点: #### 1. **基于 CNN 的辅助分支** 为了增强编码器的特征表示能力,RT-DETRv3 引入了一个基于卷积神经网络 (CNN) 的辅助分支[^3]。这一分支提供了密集的监督信号,能够与原始解码器协同工作,从而提升整体性能。 ```python class AuxiliaryBranch(nn.Module): def __init__(self, in_channels, out_channels): super(AuxiliaryBranch, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.bn = nn.BatchNorm2d(out_channels) def forward(self, x): return F.relu(self.bn(self.conv(x))) ``` 此部分的设计灵感来源于传统的 CNN 架构,例如 YOLO 系列中的 CSPNet 和 PAN 结构[^2],这些技术被用来优化特征提取效率并减少计算开销。 --- #### 2. **自注意力扰动学习策略** 为解决解码器训练不足的问题,RT-DETRv3 提出了一种名为 *self-att 扰动* 的新学习策略。这种策略通过对多个查询组中阳性样本的标签分配进行多样化处理,有效增加了阳例的数量,进而提高了模型的学习能力和泛化性能。 具体实现方式是在训练过程中动态调整注意力权重分布,确保更多的高质量查询可以与真实标注 (Ground Truth) 进行匹配。 --- #### 3. **共享权重解编码器分支** 除了上述改进外,RT-DETRv3 还引入了一个共享权重的解编码器分支,专门用于提供密集的正向监督信号。这一设计不仅简化了模型架构,还显著降低了参数量和推理时间,使其更适合实时应用需求。 ```python class SharedDecoderEncoder(nn.Module): def __init__(self, d_model, nhead, num_layers): super(SharedDecoderEncoder, self).__init__() decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead) self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_layers) def forward(self, tgt, memory): return self.decoder(tgt=tgt, memory=memory) ``` 通过这种方式,RT-DETRv3 实现了高效的目标检测流程,在保持高精度的同时大幅缩短了推理延迟。 --- #### 4. **与其他模型的关系** 值得一提的是,RT-DETRv3 并未完全抛弃经典的 CNN 技术,而是将其与 Transformer 结合起来形成混合架构[^4]。例如,它采用了 YOLO 系列中的 RepNCSP 模块替代冗余的多尺度自注意力层,从而减少了不必要的计算负担。 此外,RT-DETRv3 还借鉴了 DETR 的一对一匹配策略,并在此基础上进行了优化,进一步提升了小目标检测的能力。 --- ### 总结 综上所述,RT-DETRv3 的网络结构主要包括以下几个关键组件:基于 CNN 的辅助分支、自注意力扰动学习策略、共享权重解编码器分支以及混合编码器设计。这些技术创新共同推动了实时目标检测领域的发展,使其在复杂场景下的表现更加出色。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值