python 列表降维_Python嵌套列表拉平(Flatten)方案

本文探讨了Python中列表降维的重要性,常见于爬虫批处理数据存储。二级嵌套列表的处理方法包括for循环、sum括号、functools.reduce、itertools.chain、numpy.flat和numpy.concatenate。性能比较显示不同方法在数据量增加时的效率差异。介绍了一种适用于多级嵌套列表的Pythonic方法——使用生成器函数进行递归遍历,强调了生成器的惰性计算优势,适合批处理中的大数据流处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Why flatten?

方便遍历/map/reduce操作,其实就是降维。

层级列表因何产生?

写爬虫多的朋友经常会用到批处理的方式做大量的数据请求,返回的批次数据就保存在了一个list,而全部数据通常采用写入文件/数据库,或存在内存的方式;后者就不可避免地做大量append操作。其次对接口结果多样,甚至可能达到多层嵌套的情况;

二级嵌套

二级嵌套是最常见的。处理办法也有很多:

import functools

import itertools

import numpy

import operator

import perfplot

def forfor(a):

return [item for sublist in a for item in sublist]

def sum_brackets(a):

return sum(a, [])

def functools_reduce(a):

return functools.reduce(operator.concat, a)

def itertools_chain(a):

return list(itertools.chain.from_iterable(a))

def numpy_flat(a):

return list(numpy.array(a).flat)

def numpy_concatenate(a):

return list(numpy.concatenate(a))

perfplot.show(

setup=lambda n: [list(range(10))] * n,

kernels=[

forfor, sum_brackets, functools_reduce, itertools_chain, numpy_flat

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值