python cookbook 学习笔记 第一章 数据结构和算法(9)删除序列相同元素并保持顺序

• 删除序列相同元素并保持顺序
• 问题：
  • 怎样在一个序列上吗保持元素顺序的同时消除重复的值？
• 解决方案
  • 如果序列上的值都是 hashable 类型，那么可以很简单的利用集合或者生产器来解决这个问题。比如：

def dedupe(items):

    seen = set()
    
    for item in items:
        if item not in seen:
            yield item
            seen.add(item)

• 下面是使用上述函数的例子：

a = [1, 5, 2, 1, 9, 1, 5, 10]
print(list(dedupe(a)))        # [1, 5, 2, 9, 10]

• 这个方法仅仅在序列元素为 hashable 的时候才管用，如果想消除元素不可哈希(比如dict类型)的序列 中重复元素的话，需要将上述代码稍微改变一下，就像这样：

def dedupe(items, key= None):
    seen = set()
    for item in items:
        val = item if key is None else key(item)
        if val not in seen:
            yield item
            seen.add(val)

• 这里的 key 参数指定了一个函数，将序列元素转换成 hashable 类型。下面是它的用法示例：

a = [{"x": 1, "y": 2},{"x": 1, "y": 3},{"x":1, "y":2},{"x":2, "y":4}]
b = list(dedupe(a, key= lambda d: (d["x"],d["y"])))
print(b)  # [{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}]

c = list(dedupe(a, key= lambda d: d["x"]))
print(c)  # [{'x': 1, 'y': 2}, {'x': 2, 'y': 4}]

• 如果像基于某个字段、属性或者某个更大的数据来消除重复元素，第二种方案同样可以胜任。

• 讨论

• 如果仅仅就是想消除重复元素，通常可以简单的构造一个集合。比如

a = [1, 5, 2, 1, 9, 1, 5, 10]
print(set(a))  # {1, 2, 5, 9, 10}

• 然而这种方法不能维护元素的顺序，生产的结果中的元素位置被打乱。而上面的方法可以避免这种 情况。 在本节中使用了生成器函数让程序更加通用，不仅仅局限于列表处理。比如，如果想要读取一个文 件，消除重复行，可以很容易像这样做：

with open(somefile, "r") as f:
    for line dedupe(f):
        ....

• 上述 key 函数模仿了 sorted(), min() 和 max() 等内置函数的相似功能。