1.10删除序列相同的元素并保持顺序

最新推荐文章于 2025-10-15 10:48:55 发布

原创最新推荐文章于 2025-10-15 10:48:55 发布 · 179 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

python3高级教程专栏收录该内容

56 篇文章

订阅专栏

本文介绍了如何在不改变元素顺序的情况下从序列中删除重复值。提供了两种解决方案：一种适用于可哈希元素，另一种针对不可哈希的元素（如字典），通过指定键来确定唯一性。这种方法比直接构造集合更能保留原始序列的顺序。示例代码展示了如何应用这些方法，并给出了实际应用示例。

问题

怎样在一个序列上面保持元素顺序的同事时消除重复的值？

解决方案

如果序列上的值都是hashable类型，那么可以很简单的利用集合或者生成器来解决这个问题。比如：

def dedupe(items):
    seen = set()
    for item in items:
        if item not in seen:
            yield item
            seen.add(item)

下面是使用上述函数的例子：

a=[1,5,2,1,9,1,5,10]
print(list(dedupe(a)))

这个方法仅仅在序列中元素为hashale的时候才管用。如果你想消除元素不可哈希（比如dict类型）的序列中重复的元素的话，你需要将上述代码稍微改变一下，就像这样：

def dedupe(items,key=None):
    seen = set()
    for item in items:
        val=item if key is None else key(item)
        if val not in seen:
            yield item
            seen.add(val)

a=[{'x':1,'y':2},{'x':1,'y':3},{'x':1,'y':2},{'x':2,'y':4}]
print(list(dedupe(a,key=lambda d:(d['x'],d['y']))))
# ->[{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}]

print(list(dedupe(a,key=lambda d:d['x'])))
# ->[{'x': 1, 'y': 2}, {'x': 2, 'y': 4}]

如果你想基于单个字段、属性或者某个更大的数据结构来消除重复元素，第二种方案同样可以胜任

讨论

如果你仅仅就是想消除重复元素，通常可以简单的构造一个集合。比如

a=[1,5,2,1,9,1,5,10]
print(set(a))# {1, 2, 5, 9, 10}

然而这种方法不能维护元素的顺序，生成的结果中的元素位置被打乱。而上面的方法可以避免这种情况。