python列表套字典去重复（json去重复)

最新推荐文章于 2024-07-28 03:36:52 发布

原创最新推荐文章于 2024-07-28 03:36:52 发布 · 3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #json

本文介绍了在Python中处理JSON格式数据时，如何去除list中包含dict的重复元素。由于dict不可哈希，直接使用set去重会报错。为解决此问题，提出了一种自定义的去重方法，通过遍历并比较每个dict的键值对实现去重。该方法适用于需要保留字典结构且避免重复的情况。

部署运行你感兴趣的模型镜像

工作时经常会用到python处理json格式的数据，
通常json.loads之后主要的数据通常是 list 里面包含很多的dict
直接用list(set()) 这种方式去重会报错
TypeError: unhashable type: 'dict'
所以自己写一个判断重复的方法
def removeduplicate(list1):
    """
    列表套字典去重复
    :param list1: 输入一个有重复值的列表
    :return: 返回一个去掉重复的列表
    """
    newlist = []
    for i in list1:  # 先遍历原始字典
        flag = True
        if newlist == []:  # 如果是空的列表就不会有重复，直接往里添加
            pass
        else:
            for j in newlist:
                count = len(i.keys())
                su = 0
                for key in i.keys():
                    if i[key]  == j[key]:
                        su += 1
                if su == count:
                    flag = False
        if flag:
            newlist.append(i)
    return newlist

您可能感兴趣的与本文相关的镜像