【小方法】python列表套字典去重、列表套列表去重

列表嵌套字典去重

最新推荐文章于 2024-10-17 13:57:58 发布

原创

最新推荐文章于 2024-10-17 13:57:58 发布 · 6.3k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了一种针对列表嵌套字典的数据结构进行去重的方法，通过将字典转化为元组并利用集合实现去重，适用于爬虫汇总数据等场景。

问题场景：

今天我在爬虫汇总数据的时候，采用的数据结构为列表套字典如下：
在这里插入图片描述

这里有一个列表里面有三个元素类型都是字典，可以看到索引为0和2的元素key和value完全相同。
这是我想去掉其中一个就是一个简单的字典去重方法，列表去重很简单，直接采用set转为集合方法在转回list类型，我尝试了一下，我天真的以为此时的数据结构也可以这样操作。
在这里插入图片描述
错误提示说不可哈希类型。

可哈希：int \ float \ str \ tuple
不可哈希: list \ set \ dict

列表嵌套字典去重：

data_list= [{
   
   "name": "小蓝", "age": "18"}, {
   
   "name": "小红", "age": "18"},  {
   
   "name":

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

瓜皮三三

关注关注

11
点赞
踩
26

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python实现嵌套列表、字典按某一元素去重复

爱橙子的OK绷的专栏

12-31

7006

#! /usr/bin/env python #coding=utf-8class HostScheduler(object): def __init__(self, resource_list): self.resource_list = resource_list def MergeHost(self): allResource=[] a

Python 给列表里面的字典去重

qq_38105596的博客

10-18

901

平常给列表去重转换成set集合类型，然后再转回列表就行了 1、今天遇到列表也想这样转换去重，发现用不了，报如下错误代码示例： tmp_data = [{'id': '000'}, {'id': '000'}] print(set(tmp_data)) 运行结果： 2、解决办法 def duplicate_remove(): data_list = [{'id': '...

4 条评论您还未登录，请先登录后发表或查看评论

4 条评论

2301_78152555 2024.04.22
我去我也遇到这个不可哈希：字典然后困了很久感谢

从零学运筹 2023.01.17
AttributeError: 'dict' object has no attribute 'items' 请问为啥报这个错误

&然也 2022.11.04
for i in a: if i not in b: b.append(i)
- 从零学运筹回复&然也 2023.01.17
  啥

对python列表里的字典元素去重方法详解

09-19

今天小编就为大家分享一篇对python列表里的字典元素去重方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

Python列表中嵌套字典去重方法

DokcelyNg的博客

11-20

2144

Python列表中嵌套字典去重方法 # 列表中字典去重 def list_dict_duplicate_removal(data_list): run_function = lambda x, y: x if y in x else x + [y] return reduce(run_function, [[], ] + data_list) # 列表中嵌套字典按照指定建去重 def DelRepeat(data,key): new_data = [] # 用于存储去重后的lis

python中列表中的字典如何去重

最新发布

qq_35485206的博客

10-17

1037

环境window10，pycharm2023.1.2介绍在Python中，如果你有一个列表，其中包含了字典，并且你想要去除重复的字典项，你可以使用几种不同的方法。以下是一些常见的方法：方法 1: 使用集合和frozensetfrozenset 是一个不可变的集合，可以作为字典的键。通过将字典转换为 frozenset，我...

列表嵌套字典排序去重

weixin_30556161的博客

06-17

623

python 列表里面嵌套字典，如何去重？本方法借鉴网络方法，通过排序取出重复中

精选资源

Python实现嵌套列表去重方法示例

01-20

列表嵌套了列表，并且有一个重复列表[“百度”, “CPY”]，现在要求将这个重复元素进行去重（重复是指嵌套的列表内两个元素都相同），并且保证元素顺序不变，输出还是嵌套列表，即最后结果应该长这样：[[“百度”, ...

python进行字典去重

youhebuke225的博客

04-30

1029

在Python中，集合（set）不能直接用于对字典（dictionary）进行去重，因为字典本身是可变的，而且字典没有定义哈希值（hash）和相等性比较（equality comparison）的方式，这违反了集合中元素必须是不可变且可哈希的要求。如果你想要对包含字典的列表进行去重，你需要定义一种方法来比较这些字典是否“相等”。字典的哈希值是基于其内容的，而字典的内容可以变化，这意味着字典的哈希值也会随之变化。请注意，这种方法假设字典中的键是无序的，或者至少我们不关心顺序。，告诉你字典是不可哈希的。

python去重列表中相同的字典元素

m0_45888058的博客

05-13

2284

python去重列表元素问题

Python字典列表去重

aloalololo的博客

05-17

5863

Python字典列表去重最近在写代码时老是遇到字典列表的去重，想当然的就用上了 set()，哈哈哈哈哈直接上代码 list_a = [{"name": "Tom", "age": 18}, {"name": "Jerry", "age": 18}, {"name": "Tom", "age": 18}] unique_list = list(list_a) print(unique_list) 结果 TypeError: unhashable type: 'dict' set / dict

python列表里的字典元素去重

07-12

3408

python列表里字典元素去重

python 列表中的字典元素去重

weixin_44818729的博客

06-16

837

from functools import reduce data_list = [{"a": "123", "b": "321"}, {"a": "123", "b": "321"}, {"b": "321", "a": "23"}] def list_dict_duplicate_removal(data_list): run_function = lambda x, y: x i...

列表字典去重

xzhanxiang的博客

06-03

524

今天上班同事问列表中有几个字典，键重复，值有的一样有的不一样，问我怎么实现，防止还有这种情况发生特写次文章，好了不多说了，让我们进入代码看具体实现吧 a_list = [{'1':1,'2':2,'3':3},{'1':1,'2':2,'3':3},{'1':1,'2':2,'3':3},{'1':1,'2':4,'3':3}] def _remove(dict_list): seen = set() new_list = [] for dict_nums in dict_list:

Python | 一文学会Python中如何将列表去重，拓展字典去重

猫天意的博客

04-20

1632

一文学会Python中如何将列表去重，拓展字典去重。

Python:列表字典去重

Jcsim~

08-01

404

一、感谢：https://www.cnblogs.com/yifengs/p/12314983.html ll = [ { "name":"1", "no":"2" }, { "name": "1", "no": "2" }, { "name": "2", "no": "3"

python列表套字典去重复（json去重复)

kamides的博客

03-24

3077

工作时经常会用到python处理json格式的数据，通常json.loads之后主要的数据通常是 list 里面包含很多的dict 直接用list(set()) 这种方式去重会报错 TypeError: unhashable type: 'dict' 所以自己写一个判断重复的方法 def removeduplicate(list1): """ 列表套字典去重复 :param list1: 输入一个有重复值的列表 :return: 返回一个去掉重复的列表 """ .

python 字典列表去重

weixin_43799356的博客

04-25

662

from functools import reduce def list_dict_duplicate_removal(data_list): run_function = lambda x, y: x if y in x else x + [y] return reduce(run_function, [[], ] + data_list) 这段适合用于字典列表去重。看了看现在很多的去重用法，大概思路都是这样。（附上原文连接）但是随着数据量的增长，这种方法所需要的时间也越来越长

用python对列表中的字典去重

西门大盗捉虫专家

08-05

1612

from functools import reduce all_tomorrow_Data = [{'a':1},{'a':1}] filter_function = lambda x, y: x if y in x else x + [y] all_tomorrow_Data_set = reduce(filter_function, [[], ] + all_tomorr...

python 列表中字典去重

06-07

在 Python 中，可以通过使用集合（set）来对列表中的字典进行去重。由于集合中的元素不允许重复，因此可以通过将列表中的字典转换为集合，然后再将集合转换回列表来实现去重。以下是一个示例代码： ```python original_list = [{'name': 'Alice', 'age': 30}, {'name': 'Bob', 'age': 25}, {'name': 'Alice', 'age': 30}] new_list = list({frozenset(item.items()) for item in original_list}) print(new_list) ``` 在上述代码中，首先定义了一个包含三个字典的原始列表 `original_list`，其中第一个和第三个字典是相同的。然后通过使用集合推导式来将每个字典转换为不可变的 frozenset 对象，并将这些对象添加到集合中。由于集合中的元素是唯一的，因此相同的字典只会出现一次。最后，将集合转换回列表，并输出结果。