Python itertools模块详解

Python itertools 模块全面详解 itertools惰性求值:只在需要时生成元素,不预先生成整个序列内存高效:处理大型数据集时几乎不占用额外内存可组合性:函数可以自由组合形成复杂管道C语言实现:底层由C实现,执行效率高itertools提供高效的内存管理(惰性求值)实现复杂的迭代模式优化数据处理管道简化组合数学操作处理GB级数据集而不耗尽内存编写更简洁、更Pythonic的代码提高数据处理任务的性能实现复杂的算法逻辑优先使用迭代器而非列表推导式处理大数据组合多个itertools函数构建处理管道。 阅读详情

该模块包含了一系列处理可迭代对象(sequence-like)的函数,从此迭代更任性,简要介绍,原文见Python itertools模块详解。

迭代器有一些特点,比如lazy,也就是只有用到的时候才读入到内存里,这样更快更省内存;比如只能调用一次,会被消耗掉。

import itertools as itls

合并迭代器: chain()与izip()

chain()函数接收n个可迭代对象,然后返回一个他们的合集的迭代器,纵向合并,上例子。

for i in itls.chain([1,2,3],['a','b','c']):
    print i,
1 2 3 a b c

izip()函数接收n个可迭代对象,然后将其合并成tuples,横向合并,功能类似zip(),只是返回的是iterator,而不是list。

for i, j in itls.izip([1,2,3],['a','b','c']):
    print i, j
1 a
2 b
3 c

切分迭代器: islice()

islice()函数接收一个迭代器,然后返回其切片,类似于list的slice切片操作。参数有start,stop和step,其中start和step参数时可选参数。

print "Stop at 5:"
for i in itls.islice(itls.count(),5):
    print i,
Stop at 5:
0 1 2 3 4
print "Start at 5, Stop at 10:"
for i in itls.islice(itls.count(),5,10):
    print i,
Start at 5, Stop at 10:
5 6 7 8 9
print "By tens to 100:"
for i in itls.islice(itls.count(),0,100,10):
    print i,
By tens to 100:
0 10 20 30 40 50 60 70 80 90

复制迭代器: tee()

与Unix里tee方法语意一样,这里接收一个迭代器,然后返回n个(default 2)一样的迭代器。

r = itls.islice(itls.count(),4)
i1, i2, i3 = itls.tee(r,3) # i1 and i2, like a copy

for i, j, k in itls.izip(i1,i2,i3):
    print i, j, k
0 0 0
1 1 1
2 2 2
3 3 3

有一点值得注意,初始的iterator不宜继续使用,如果你使用(consume),那新的迭代器就不会产生这些值了,见例子。

r = itls.islice(itls.count(),4)
i1, i2 = itls.tee(r)
for i in r:
    print 'r:', i
    if i > 0:
        break
for i in i1:
    print 'i1:', i

for i in i2:
    print 'i2:', i
r: 0
r: 1
i1: 2
i1: 3
i2: 2
i2: 3

可以看出,初始迭代器消耗了0,1,在新产生的迭代器里,就不会出现这些值了。

Map迭代器

imap()函数对迭代器进行转换,类似于python内置的map()函数。下例把xrange(5)乘以2。

print "Doubles:"
for i in itls.imap(lambda x: 2*x, xrange(5)):
    print i,
Doubles:
0 2 4 6 8

imap()可以同时接受多个可迭代对象,进行map操作。

print "Multiples:"
for i in itls.imap(lambda x,y:(x, y, x*y), xrange(5),xrange(5,10)):
    print '%d * %d = %d' % i
Multiples:
0 * 5 = 0
1 * 6 = 6
2 * 7 = 14
3 * 8 = 24
4 * 9 = 36

starmap()与imap()功能类似,但有点区别,starmap()可以从tuple里解析出多个参数,而imap()只能从多个课迭代对象获取多个参数,看例子。

values = [(0, 5), (1, 6), (2, 7), (3, 8), (4, 9)]
for i in itls.starmap(lambda x,y:(x,y,x*y), values):
    print '%d * %d = %d' % i
0 * 5 = 0
1 * 6 = 6
2 * 7 = 14
3 * 8 = 24
4 * 9 = 36

产生新迭代器

count(),cycle()和repeat()函数提供了几个产生迭代器的便捷操作,非常nice。

count()

产生连续的整数,有下限(默认0),没有上限(可以用xrange())。

for i in itls.izip(itls.count(1),['a','b','c']):
    print i
(1, 'a')
(2, 'b')
(3, 'c')
cycle()

无限重复给定的可迭代对象。

i = 0
for item in itls.cycle(['a','b','c']):
    i += 1
    if i == 7:
        break
    print (i, item)
(1, 'a')
(2, 'b')
(3, 'c')
(4, 'a')
(5, 'b')
(6, 'c')
repeat()

重复给定的值,n次。

for i in itls.repeat('over-and-over',3):
    print i
over-and-over
over-and-over
over-and-over

当需要给一个序列添加一个不变对象的时候,用repeat()和imap()或izip()的combo特别有用。

for i,s in itls.izip(itls.count(), itls.repeat('over-and-over',3)):
    print i, s
0 over-and-over
1 over-and-over
2 over-and-over
for i in itls.imap(lambda x,y:(x,y,x*y),itls.repeat(2),xrange(5)):
    print '%d * %d = %d' % i
2 * 0 = 0
2 * 1 = 2
2 * 2 = 4
2 * 3 = 6
2 * 4 = 8

过滤迭代器

类似于内置的filter()功能,实现迭代器的筛选。

dropwhile()

对item进行判断,如果判断为True,继续;如果判断为False,不继续drop了,只drop之前判断为True的,保留之后的所有items,不再进行判断,全部保留。

def should_drop(x):
    print 'Testing:', x
    return x < 1
for i in itls.dropwhile(should_drop,[ -1, 0, 1, 2, 3, 1, -2 ]):
    print 'Yielding:', i
Testing: -1
Testing: 0
Testing: 1
Yielding: 1
Yielding: 2
Yielding: 3
Yielding: 1
Yielding: -2
takewhile()

与dropwhile()功能相反,当判断为False的时候,就不继续take了,只保留之前判断为真item。

def should_take(x):
    print 'Testing:', x
    return x < 2
for i in itls.takewhile(should_take,[ -1, 0, 1, 2, 3, 4, 1, -2 ]):
    print 'Yielding:', i
Testing: -1
Yielding: -1
Testing: 0
Yielding: 0
Testing: 1
Yielding: 1
Testing: 2
ifilter()

dropwhile()和takewhile()都不是对所有元素过滤,而ifilter()则尽职尽责地对所有元素过滤。与其对应的是ifilterfalse(),只保留判定为False的item。

def check_item(x):
    print 'Testing:', x
    return x < 1
for i in itls.ifilter(check_item, [ -1, 0, 1, 2, 3, -2 ]):
    print 'Yielding:', i
Testing: -1
Yielding: -1
Testing: 0
Yielding: 0
Testing: 1
Testing: 2
Testing: 3
Testing: -2
Yielding: -2

Group迭代器

groupby(iterable[, keyfunc]) Create an iterator which returns(key, sub-iterator) grouped by each value of key(value)

按给定的key对可迭代对象分组,返回sub-iterator。

things = [("animal", "bear"), ("animal", "duck"), ("plant", "cactus"), ("vehicle", "speed boat"), ("vehicle", "school bus")]

groupby()接收两个参数,一个the data to group,一个是the function to group it with。

for key, group in itls.groupby(things, lambda x: x[0]):
    print key, group
animal <itertools._grouper object at 0x10bce2150>
plant <itertools._grouper object at 0x10bce2190>
vehicle <itertools._grouper object at 0x10bce2150>

可以看出,分组后,返回三个sub-iterator,我们可以再用一层循环访问。

for key, group in itls.groupby(things, lambda x:x[0]):
    for thing in group:
        print "A %s is a %s." % (thing[1], key)
    print ""
A bear is a animal.
A duck is a animal.

A cactus is a plant.

A speed boat is a vehicle.
A school bus is a vehicle.

且慢,值得注意的一点是,在group之前,务必要按key排序,因为groupby方法遍历对象,当key变化的时候,就会新产生一个group。有例为证!

things = [("animal", "bear"), ("plant", "cactus"), ("animal", "duck")]
for key, group in itls.groupby(things, lambda x: x[0]):
    print key, group
animal <itertools._grouper object at 0x10bce2410>
plant <itertools._grouper object at 0x10bce2490>
animal <itertools._grouper object at 0x10bce2410>

本来是应该分两组的,结果是三组,就是因为没有排序。

new_things = sorted(things,key=lambda x: x[0])
for key, group in itls.groupby(new_things, lambda x:x[0]):
    print key, group
animal <itertools._grouper object at 0x10bce2350>
plant <itertools._grouper object at 0x10bce2410>

这个看上去就对了!

Python中的itertools模块详解 itertools是Python的标准库之一,它提供了一些用于操作迭代器的函数。迭代器是可以逐个访问元素的对象,比如列表、字符串、文件等。一些常用的itertools:生成一个无限迭代器,从start开始,每次增加step。:将可迭代对象无限循环。:将对象重复times次。:将多个可迭代对象连接为一个迭代器。:返回一个迭代器,从start开始到stop结束的元素。:计算多个可迭代对象的笛卡尔积。:返回可迭代对象的所有排列,长度为r,默认为可迭代对象的长度。:返回可迭代对象的所有组合,长度为。 阅读详情

相关推荐

差分隐私(Differential Privacy)

差分隐私,拉普拉斯机制和高斯机制的证明

Michale_L的博客 1万+

python itertools groupby 以及itemgetter 使用

from operator import itemgetter from itertools import groupby 源数据为这样 _ = [ {'conf_id': 4, 'username': '.zhang'}, {'conf_id': 10, 'username': '.zhang'}, {'conf_id': 4, 'username': '.wang'}, {'conf_id': 17, 'username': '.zhang'} ] 想根据conf_id 分组 首先需要根据

dangsh_的博客 695

大模型事件抽取学习——论文学习笔记《LLMs Learn Task Heuristics from Demonstrations:......》

本篇博客介绍一篇发表在2024 ACL main上的文章:《LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction》 方向:大模型事件抽取 本篇博客为个人阅读论文的总结与笔记,在这里进行简单的分享 论文链接:https://arxiv.org/abs/

weixin_53751318的博客 1854

itertools中的groupby()的原理及其骚操作

原理 导包: from itertools import groupby 其实groupby就是对可迭代对象的批量操作,可迭代对象就是像list、dict、迭代器等这种可以用for循环遍历的数据结构或者对象。 groupby()的作用就是把可迭代对象中相邻的重复元素挑出来放一起,举个例子: for key, group in groupby('AAABBBCCAAA'): print(key, list(group)) 输出: A ['A', 'A', 'A'] B ['B',

Jnchin的博客 1万+

Python与PyCharm安装配置教程:从零搭建开发环境

编程入门的第一步是搭建开发环境,而Python解释器与IDE工具的选择常让新手困惑。Python作为解释型语言,负责将代码翻译为机器指令,而PyCharm作为集成开发环境,提供代码编辑、调试与项目管理功能,两者协同工作构成高效开发基础。环境变量PATH的配置是安装过程中的关键环节,正确处理可避免“python不是内部或外部命令”的常见错误。理解pip包管理机制,则能轻松安装第三方库并管理项目依赖。从下载官方安装包到运行第一个Hello World程序,再到利用虚拟环境隔离应用依赖,这套流程适用于Window

benben 685

别只当玩具!聊聊这个555金属探测器电路背后的电磁感应与RLC调谐原理

本文深入解析了555金属探测器电路的工作原理,重点探讨了电磁感应与RLC调谐原理。通过分析电感线圈的电磁特性、RLC谐振电路的行为以及555定时器的多重功能,揭示了这一看似简单的装置如何实现金属检测。文章还提供了灵敏度优化方案和常见问题解决方法,帮助读者从科学角度理解这一实用技术。

weixin_29204205的博客 481

python使用itertools的groupby来处理数据

为什么80%的码农都做不了架构师?>>> ...

weixin_34082177的博客 652

Python实战:5分钟搞定滑动平均窗口计算(附完整代码+逐行注释)

本文深入解析Python中滑动平均窗口计算的实现与优化,提供Numpy、Pandas等多种高效方案,并附完整代码和逐行注释。涵盖边界处理、性能优化及异常检测等实战技巧,帮助开发者快速掌握时间序列数据处理的核心技术。

weixin_30872157的博客 127

python 中itertools 模块(三)

compress() import itertools for i in itertools.compress('abcdef', [0,0,0,1,0,0]):#类似于filter ,0表示为false,会过滤掉 print(i) 运行结果 D:\Python\Python36\python.exe D:/Python_test/day_lesson/test.py d Proces...

weixin_43095456的博客 261

学Simulink——基于直流电机的建模与控制场景实例:直流电机带负载突变时的动态响应仿真

在实际应用中,直流电机经常需要应对各种工作条件的变化,例如负载突变。了解电机在这种情况下的动态响应特性对于确保系统的稳定性和可靠性至关重要。通过仿真分析,可以预测电机在不同负载条件下的表现,并优化控制系统的设计。本文将详细介绍如何使用来构建一个直流电机带负载突变时的动态响应仿真模型,并通过仿真展示其应用效果。本文介绍了如何使用构建一个直流电机带负载突变时的动态响应仿真模型,并通过仿真展示了其应用效果。

xiaoheshang_123的博客 116

YOLO26科研升级:BiFPN双向特征金字塔,让多尺度特征融合精度再突破

在目录下,新建AddModules文件夹,将bifpn.py放入其中。

LXY_LOVE36的博客 561

【Python】itertools内置函数

permutations import itertools # from itertools import permutations # permutations返回list的全排列 print(list(itertools.permutations([1, 2, 3]))) # 后一位2 # [(1, 2), (1, 3), (2, 1), (2, 3), (3, 1), (3, 2)...

littlemichelle 1137

Experion PKS系列开发:I_O模块_ExperionPKS与第三方I-O模块的集成

通过上述步骤,可以成功将第三方I/O模块集成到Honeywell Experion PKS系统中,实现对现场设备的监视和控制。集成过程中需要注意选择合适的第三方模块,配置正确的通信参数,编写正确的控制逻辑,并进行充分的测试,以确保系统的稳定性和可靠性。不同的通信协议(如Modbus、Profibus、Ethernet/IP、CANopen、OPC UA)有其独特的配置和编程方法,但总体流程相似。在实际应用中,根据项目需求选择合适的协议和模块,可以有效提高系统的灵活性和适应性。

zhubeibei168的博客 1108

python itertools模块详解

目录简介无穷迭代器count()cycle()repeat()有限迭代器chain()groupby()accumulate()组合迭代器product()permutations()combinations()combinations_with_replacement() 简介 itertools,是python的一个内置模块,功能强大,主要用于高效循环创建迭代器。注意一点,他返回的不是list,而是iterator 无穷迭代器 count() count(start, [step])会创建一个无限迭代器

嘤嘤的博客 2万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Python-itertools 模块详解

itertoolsitertools是 Python 标准库中用于的模块,提供了一系列生成迭代器的工具函数,适用于组合生成、数据分组、无限序列等场景,能显著简化代码并优化性能。itertools。

wanglaqqqq的博客 1935

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

python模块之itertools

Python:itertools模块简介itertools模块包含创建有效迭代器的函数,可以用各种方式对数据进行循环操作,此模块中的所有函数返回的迭代器都可以与for循环语句以及其他包含迭代联合使用。先来看下该模块包含的方法或函数,然后我们在对其中的部分进行说明import itertools print(dir(itertools)) #['__doc__', '__loader__', '_...

weixin_30591551的博客 122

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

python | Python中的itertools模块使用技巧

itertools模块是Python标准库中的一个高效工具箱,提供了许多用于处理迭代器的函数。通过itertools模块,可以简化复杂的循环和迭代操作,大幅提升代码效率。itertools模块内的函数涵盖了排列组合、无限迭代器、分组、过滤等丰富功能,特别适合数据处理、序列操作等场景。

csdn_xmj的博客 2295

python标准库之itertools模块

itertools是python内置的模块,使用简单且功能强大,这里尝试汇总整理下,并提供简单应用示例;如果还不能满足你的要求,欢迎加入补充。 一、组成 itertools主要来分为三类函数,分别为无限迭代器、输入序列迭代器、组合生成器,我们下面开始具体讲解。 二、无限迭代器 1、Itertools.count(start=0, step=1) 创建一个迭代对象,生成从start开始的连续整数,步长为step。 如果省略了start则默认从0开始,步长默认为1 如果超过了sys.maxin..

xcntime的专栏 1万+

「Py」模块篇 之 Python中的itertools模块详解

在Python中,迭代器(Iterator)是一种对象,它允许你逐个访问集合中的元素,而不需要一次性将所有元素加载到内存中。这使得迭代器在处理大型数据集或无限序列时特别有用,因为它可以帮助节省内存并提高性能。itertools模块是Python中一个鲜为人知但功能强大的工具。它专注于高效、内存友好的迭代器操作,使其成为处理大型或复杂数据集的理想选择。从简单的任务如循环列表,到复杂的操作如分组和排列,itertools都能以优雅且高效的方式完成。

何曾参静谧的博客 849

Python的itertools模块

python的自建模块itertools提供了非常有用的用于操作迭代对象的函数。 首先,我们看看itertools提供的几个无限迭代器: 因为count()会创建一个无限的迭代器,所以上述代码会打印出自然数序列,根本停不下来,只能Ctrl+C退出。 cycle()会把传入的一个序列无限重复下去: repeat()负责把一个元素无限重复下去,不过如果提供第二个参数就可以限...

python学习者的博客 832

python itertools模块位置_Python-itertools模块

在 Python 中,迭代器是一种非常好用的数据结构,其最大的优势就是延迟生成,按需使用,从而大大提高程序的运行效率。itertools 作为 Python 的内置模块,就为我们提供了一套非常有用的用于操作可迭代对象的函数。常用功能count 功能详解count(start=0,step=1) 函数有两个参数,其中 step 是默认参数,可选的,默认值为 1。该函数返回一个新的迭代器,从 star...

weixin_39565910的博客 187

Python itertools模块使用详解

输出: ('A', 'B'), ('A', 'C'), ('B', 'A'), ('B', 'C'), ('C', 'A'), ('C', 'B')# 输出: ('A', 'A'), ('A', 'B'), ('A', 'C'), ('B', 'B'), ('B', 'C'), ('C', 'C')# 输出: ('A', '1'), ('A', '2'), ('B', '1'), ('B', '2')# 输出: ('A', 'B'), ('A', 'C'), ('B', 'C')

2301_80044974的博客 660

Python itertools模块

itertools是 Python 标准库中的一个模块,它提供了许多用于操作迭代对象的工具函数。这些函数可以高效地生成迭代器,用于处理序列和集合,特别适用于循环和组合数学

YumOS的博客 1148

python自带intertool模块找不到_详解Python中的itertools模块

itertools模块的介绍在Python中,迭代器(Iterator)是常用来做惰性序列的对象,只有当迭代到某个值的时候,才会进行计算得出这个值。因此,迭代器可以用来存储无限大的序列,这样我们就不用把他一次性放在内存中,而只在需要的时候进行计算。所以,对于读取大文件或者无线集合,最好是使用迭代器。实际上,Python2的大多数函数都是返回列表等序列,而Python3都已经改进为返回迭代器。Pyt...

weixin_39760433的博客 411

Python_itertools模块

1. itertools模块的介绍 在Python中,迭代器(Iterator)是常用来做惰性序列的对象,只有当迭代到某个值的时候,才会进行计算得出这个值。因此,迭代器可以用来存储无限大的序列,这样我们就不用把他一次性放在内存中,而只在需要的时候进行计算。所以,对于读取大文件或者无线集合,最好是使用迭代器。实际上,Python2的大多数函数都是返回列表等序列,而Python3都已经改进为返回迭代器...

越吃越胖的博客 2万+

详解Python中的itertools模块

在Python中,迭代器(Iterator)是常用来做惰性序列的对象,只有当迭代到某个值的时候,才会进行计算得出这个值。因此,迭代器可以用来存储无限大的序列,这样我们就不用把他一次性放在内存中,而只在需要的时候进行计算。所以,对于读取大文件或者无线集合,最好是使用迭代器。实际上,Python2的大多数函数都是返回列表等序列,而Python3都已经改进为返回迭代器。 Python的内置模块itertools就是用来操作迭代器的一个模块,包含的函数都是能够创建迭代器来用于for循环或者next()。其中函数主.

暖雪若峰的博客 1600
上一篇: Python Collections模块解析
下一篇: Python操作数据库
「已注销」
博客等级 码龄10年 4粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值