python去除列表中重复元素

本文介绍了使用Python进行列表去重的多种方法,包括利用set函数去除重复元素并保持元素唯一性,通过list的sort方法结合自定义排序键值来保留原始顺序,以及采用for循环配合条件语句实现手动去重。每种方法都有其适用场景,为Python开发者提供了丰富的选择。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

速度快,但排序变化
# set函数
L = ['b','c','d','b','c','a','a'] 
set(L)
Out[21]: {'a', 'b', 'c', 'd'}

list(set(L))
Out[22]: ['a', 'c', 'b', 'd']

{}.fromkeys(l1).keys() 
Out[23]: ['a', 'c', 'b', 'd']

保持原有排序
# list 的 sort 方法
l1 = ['b','c','d','b','c','a','a'] 
l2 = list(set(l1)) 
l2.sort(key=l1.index) 
print l2
Out[28]: ['b', 'c', 'd', 'a']

l1 = ['b','c','d','b','c','a','a'] 
sorted(set(l1),key=l1.index) 
Out[31]: ['b', 'c', 'd', 'a']

遍历

l1 = ['b','c','d','b','c','a','a'] 
l2 = [] 
for i in l1: 
if not i in l2: 
        l2.append(i) 
print l2
l1 = ['b','c','d','b','c','a','a'] 
l2 = [] 
[l2.append(i) for i in l1 if not i in l2] 
print l2
### Python 去除列表重复元素的方法 在 Python 中,有多种方式可以去除列表中的重复元素。以下是几种常见的方法及其特点: #### 方法一:使用 `set` 数据结构 通过将列表转换为集合 (`set`) 来自动移除重复项,因为集合不允许包含重复的元素。之后再将其转回列表形式。 ```python list1 = [1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3] list2 = list(set(list1)) print(list2) # 输出可能是无序的结果,例如 [1, 2, 3, 4, 5, 6, 7, 8, 9] ``` 这种方法简单高效,但由于集合不保留顺序,最终得到的列表可能会失去原本的元素顺序[^2]。 #### 方法二:基于生成器函数实现去重 如果需要保留原始列表中元素的顺序,则可以通过定义一个生成器函数来完成此任务。这种方式适用于可哈希的数据类型。 ```python def dedupe(items): seen = set() for item in items: if item not in seen: yield item seen.add(item) list1 = [1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3] list2 = list(dedupe(list1)) print(list2) # 输出: [1, 2, 5, 6, 7, 4, 8, 9, 3] ``` 这个方法不仅能够保持元素原有的相对位置不变,而且对于大型数据集来说更加节省内存资源[^3]。 #### 方法三:利用列表推导式与条件过滤 另一种思路是借助列表推导式的强大功能,在构建的过程中仅选取那些未曾在之前出现过的项目加入进来。 ```python list1 = [1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3] seen = [] list2 = [x for x in list1 if (not (x in seen or seen.append(x)))] print(list2) # 输出: [1, 2, 5, 6, 7, 4, 8, 9, 3] ``` 虽然这种写法看起来简洁优雅,但是由于每次都需要检查当前值是否已存在于临时变量 `seen` 当中,所以当面对非常庞大的输入源时性能开销较大[^1]。 #### 方法四:应用 NumPy 的 `unique` 函数 如果是从事数值运算或者科学计算领域的工作,那么很可能已经在环境中引入了 NumPy 库。此时可以直接调用它的内置工具——`np.unique()` 来轻松解决这个问题。 ```python import numpy as np arr = np.array([1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3]) uniques = np.unique(arr) print(uniques.tolist()) # 转化为标准 python 列表后打印出来 ``` 相比纯 Python 解决方案,NumPy 提供的操作往往经过高度优化,尤其适合处理大规模数组型数据[^2]。 --- ### 总结 以上介绍了四种不同的技术路径用于消除 Python 列表内的重复成员。每一种都有各自的适用范围以及优缺点所在。实际开发过程中应根据具体情况灵活选用最合适的那一种。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值