[python]去除列表中重复元素

本文介绍了Python中去除列表重复元素的方法,利用set()转换成集合去除重复项,并讨论了保持原有顺序的方法。同时对比了sorted()和list.sort()两种排序方式的特点与用法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

lists = [ 20 , 12 , 34 , 12 , 24 , 34 , 55 , 27 ]
print list ( set (lists))

set()是内置的数据类型“集合类型”,它是无序的且值是唯一项的!所以set() 执行的结果就是转为集合且直接去除了重复的元素,再list()则将集合又转回列表类型。 但是,set()是会破坏了排列顺序,如果要保留排序,list(set(lists)) 可改为 sorted(set(lists),key=lists.index)

------------------------------------------------------------

我们需要对List进行排序,Python提供了两个方法
对给定的List L进行排序,
方法1.用List的成员函数sort进行排序
方法2.用built-in函数sorted进行排序(从2.4开始)

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - sorted - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
>>> help ( sorted )
Help on built - in function sorted in module __builtin__:
 
sorted (...)
     sorted (iterable, cmp = None , key = None , reverse = False ) - - > new sorted list
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - sort - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
>>> help ( list .sort)
Help on method_descriptor:
 
sort(...)
     L.sort( cmp = None , key = None , reverse = False ) - - stable sort * IN PLACE * ;
     cmp (x, y) - > - 1 , 0 , 1
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
iterable:是可迭代类型; 
cmp:用于比较的函数,比较什么由key决定,有默认值,迭代集合中的一项; 
key:用列表元素的某个属性和函数进行作为关键字,有默认值,迭代集合中的一项; 
reverse:排序规则. reverse = True 或者 reverse = False,有默认值。 
返回值:是一个经过排序的可迭代类型,与iterable一样。 
  
注;一般来说,cmp和key可以使用lambda表达式。 

sort()与sorted()的不同在于,sort是在原位重新排列列表,而sorted()是产生一个新的列表。 


Fastest way to uniqify a list in Python


### Python 去除列表重复元素的方法 在 Python 中,有多种方式可以去除列表中的重复元素。以下是几种常见的方法及其特点: #### 方法一:使用 `set` 数据结构 通过将列表转换为集合 (`set`) 来自动移除重复项,因为集合不允许包含重复的元素。之后再将其转回列表形式。 ```python list1 = [1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3] list2 = list(set(list1)) print(list2) # 输出可能是无序的结果,例如 [1, 2, 3, 4, 5, 6, 7, 8, 9] ``` 这种方法简单高效,但由于集合不保留顺序,最终得到的列表可能会失去原本的元素顺序[^2]。 #### 方法二:基于生成器函数实现去重 如果需要保留原始列表元素的顺序,则可以通过定义一个生成器函数来完成此任务。这种方式适用于可哈希的数据类型。 ```python def dedupe(items): seen = set() for item in items: if item not in seen: yield item seen.add(item) list1 = [1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3] list2 = list(dedupe(list1)) print(list2) # 输出: [1, 2, 5, 6, 7, 4, 8, 9, 3] ``` 这个方法不仅能够保持元素原有的相对位置不变,而且对于大型数据集来说更加节省内存资源[^3]。 #### 方法三:利用列表推导式与条件过滤 另一种思路是借助列表推导式的强大功能,在新构建的过程中仅选取那些未曾在之前出现过的项目加入进来。 ```python list1 = [1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3] seen = [] list2 = [x for x in list1 if (not (x in seen or seen.append(x)))] print(list2) # 输出: [1, 2, 5, 6, 7, 4, 8, 9, 3] ``` 虽然这种写法看起来简洁优雅,但是由于每次都需要检查当前值是否已存在于临时变量 `seen` 当中,所以当面对非常庞大的输入源时性能开销较大[^1]。 #### 方法四:应用 NumPy 的 `unique` 函数 如果是从事数值运算或者科学计算领域的工作,那么很可能已经在环境中引入了 NumPy 库。此时可以直接调用它的内置工具——`np.unique()` 来轻松解决这个问题。 ```python import numpy as np arr = np.array([1, 2, 5, 6, 7, 4, 8, 2, 7, 9, 4, 6, 3]) uniques = np.unique(arr) print(uniques.tolist()) # 转化为标准 python 列表后打印出来 ``` 相比纯 Python 解决方案,NumPy 提供的操作往往经过高度优化,尤其适合处理大规模数组型数据[^2]。 --- ### 总结 以上介绍了四种不同的技术路径用于消除 Python 列表内的重复成员。每一种都有各自的适用范围以及优缺点所在。实际开发过程中应根据具体情况灵活选用最合适的那一种。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值