Redis实现唯一(去重)队列

最新推荐文章于 2025-02-01 20:01:24 发布
最新推荐文章于 2025-02-01 20:01:24 发布
阅读量1w 收藏 6
点赞数 3
分类专栏： redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jiankekejian/article/details/106675926
版权
本文探讨了在使用Redis作为任务队列时遇到的重复任务问题，并提出了四种解决策略，包括利用List和Set的组合、仅使用List进行去重、在入队前检查元素是否存在，以及使用有序集合的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

相关场景：用Redis的List做任务队列，但是有时候任务还没处理到，某些地方超时又来了一条相同的任务，但List本身是支持重复元素的，这个时候需要对队列去重。

 

方法一：同时使用List和Set。

入队列时，同时入List和Set

lpush [key] [member]
sadd [key] [member]

出队列时，判断元素是否在Set中并将其在Set中删除。若不在Set中，忽略此次出队操作。

rpop [key]
sismenber [key] [member]
srem [key] [member]

 

方法二：只使用List，但是出队后删除掉List中相同的元素。

入队列时，同时入List和Set

lpush [key] [member]

出队列时后，删除队列中相同的此次出列的元素。数字0代表移除所有为member的元素。

rpop [key]
lrem [key] 0 [member]

 

方法三：只使用List，入队前判断元素是否在队列中。

暂时没发现List中直接判断元素是否已经存在的命令，这种判断的命令可以自己用其他逻辑的代码实现。但要值得注意的是，不要先删除掉List中相同的元素后再将此元素Push进去，这样可能会导致此元素一直在队尾，没机会Pop出去。

 

方法四：有序集合。

有空再写

Redis在大数据去重中的应用：布隆过滤器实战指南
AI天才研究院
05-03 903
在大数据场景（如日志分析、推荐系统、缓存穿透防护）中，数据去重是高频操作。传统方案（如内存HashSet、数据库唯一索引）在数据量达到亿级时，内存占用会指数级增长（例如1亿个64位整数需约800MB内存），导致成本剧增。本文聚焦Redis与布隆过滤器的结合方案如何用极小内存实现亿级数据的高效去重？如何控制误判率（False Positive Rate）以满足业务需求？如何在分布式系统中共享布隆过滤器状态？本文覆盖布隆过滤器的数学原理、RedisBloom模块的使用、实战代码开发及典型场景落地。
【项目实战】Redis使用场景之基于Redis实现分布式队列
本本本添哥
09-10 302
分布式队列，指在分布式系统中用于协调不同服务或组件之间的消息传递和任务调度的队列。分布式队列，允许多个生产者将任务放入队列，而多个消费者可以从队列中取出任务进行处理。分布式队列，在微服务架构、任务调度、消息传递等场景中非常有用。
Python实现具备元素唯一性的队列
奋进的K
12-14 2944
直奔主题，在用多线程写一个爬虫项目时，很自然的想到用“生产者-消费者”模式，但是又想实现一个额外的需求，即如果爬虫爬到了队列中已存在的url，则不进行入队操作。想实现这个，大概面临两个问题： 1. Queue对象不支持in操作 2. 即使1成立，如果在Queue对象外部通过if item in q这种形式也行不通，因为该过程无锁，多线程情况下就无法保证查询结果的准确性进而观察了一下queue模块
redis 分页_吊打面试官系列Redis终章
weixin_39615984的博客
11-26 261
1String这是最简单的类型，就是普通的 set 和 get，做简单的 KV 缓存。但是真实的开发环境中，很多仔可能会把很多比较复杂的结构也统一转成String去存储使用，比如有的仔他就喜欢把对象或者List转换为JSONString进行存储，拿出来再反序列话啥的。我在这里就不讨论这样做的对错了，但是我还是希望大家能在最合适的场景使用最合适的数据结构，对象找不到最合适的但是类型可以选最...
redis队列去重_Redis常用功能
weixin_42515056的博客
02-11 1506
5大应用场景：1.缓存技术; 2.列队; 3. 去重技术; 4. 积分板; 5.订阅与发布Redis应用场景使用Redis做缓存Redis的字符串、哈希表两种结构适合做key与value信息使用Redis做队列使用列表可以实现普通级和优先级队列功能使用有序集合数据结构，可以实现优先级列队使用哈希表可以实现 延时队列使用Redis去重利用集合，实现小批量数据去重利用字符串数据结构的位操作，实现布隆过...
python使用redis去重_基于Redis的Bloomfilter去重（附代码）-阿里云开发者社区
weixin_39688856的博客
12-05 358
前言“去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set()进行去重。当去重数据需要持久化时可以使用redis的set数据结构。当数据量再大一点时，可以用不同的加密算法先将长字符串压缩成16/32/4...
distinct对两个字段去重_scrapy去重与scrapy_redis去重与布隆过滤器
weixin_39707693的博客
11-21 283
在开始介绍scrapy的去重之前，先想想我们是怎么对requests对去重的。requests只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定义一个去重队列，判断抓取的url是否在其中，如下：crawled_urls 此时的集合是保存在内存中的，随着爬虫抓取内容变多，该集合会越来越大，有什么办法呢？接着往下看，你会知道的。scrapy的去重scrapy对request...
python redis连接 有序集合去重的代码
09-09
在Python编程中，Redis是一个广泛使用...通过这些步骤，你可以有效地在Python项目中实现Redis有序集合的数据去重功能，确保数据的唯一性。如果在实际应用中遇到问题，可以查阅Redis官方文档或社区资源，寻求解决方案。
Redis 定长队列的探索和实践
m0_71777195的博客
08-05 765
本文主要探索在特定业务场景下通过Redis的原生命令实现类MQ的功能，创新式的通过Lua脚本组合Redis的List的基础命令，实现了消息的分组，消息的定长队列，消息的批量消费功能；消费者的消费过程中通过循环遍历游戏列表，然后根据游戏去获取对应的消息对象，但是不同的游戏对应的热度不同，所以在消费端我们通过配置的方式为热门游戏单独开启消费线程进行消费，相当于针对不同游戏配置不同优先级的消费者。消息数据层面，通过单独的List循环维护待消费的游戏维度的数据，每个游戏维度使用定长的List来保存消息。......
使用 Redis Streams 实现高性能消息队列
桂月二二博客
02-01 1274
Redis Streams 作为 Redis 5.0 引入的新功能，在高性能消息队列场景下表现出色。相比 Kafka 和 RabbitMQ，Redis Streams 适用于中小型业务场景，如日志收集、任务队列等，同时具备持久化存储、消费分组及确认机制。如果你的项目已经使用 Redis，并且有消息队列需求，Redis Streams 可能是一个非常合适的选择。
使用Redis实现分布式任务队列的正确姿势
分布式任务队列能够解耦系统中的各个模块，实现系统间任务的异步协作，从而提高系统整体的性能和稳定性。它常应用于异步任务处理、消息通知、定时任务调度等场景。 ## 1.3 分布式任务队列的关键特性 分布式任务...
利用Redis进行数据去重
01-21
前言 之前有篇文章提到了实现增量爬虫可以利用redis数据库进行url去重，今天博主就给大家分享一下python如何利用redis进行去重吧。在试验中，我们用到Redis数据库和hash算法，我们先了解一下Redis和hashlib。 Redis简介 Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 优势 读写速度极快，Redis能读的速度是110000次/s,写的速度是81000次/s 。 支持多种数据结构：string（字符串）；list（列表）；hash（哈希），set（集合）；zset(有序集合)。 Redis可以将内存中的数据利用快照
redis队列去重_lua + redis 的去重队列
weixin_29848477的博客
01-14 473
背景是任务派发系统，我们我们的任务落地在mysql， 然后有通过redis 的list 做队列，因为任务是幂等的，所以，超时任务和失败重试任务会重新入队。这里出现了一个情况，就是我们的任务，比如，视频转码，是极其耗时的，任务出现重复入队的情况，这不是我们所期望的，所以我们需要对任务进行去重。...
用Redis实现去重的任务队列的多种方案
LightOfNight的博客
11-20 1128
介绍了如何用Redis的List实现去重的任务队列，包括List不重复添加、List重复添加、借助Hash等
可去重的消息队列：AntiDuplicateL…
runyon的博客
10-10 7302
LinkedBlockingQueue经常用于线程间的消息队列。一个或多个消费者线程阻塞在take操作，生产者线程往队列里面offer新的消息。有时候，可能希望不要在队列中有重复的请求。我实现的AntiDuplicateLinkedBlockingQueue可实现此目的。代码很简单，就是用一个LinkedList来实现队列，一个HashSet来实现去重。 ====================
redis队列去重_Redis 都不会？那还是别去面试了…
weixin_29028145的博客
01-01 533
前不久，有一个读者在后台留言，说他面试 Java 开发工程师岗位时，居然大部分的面试问题都是关于 Redis 的，他都差点都忘记了自己应聘的是 Java 工程师了。而然这种现象在现在的后端面试中很常见，对 Redis 的掌握已经变成了一项后端工程师必须具备的基础技能。当我们翻开那些大厂的招聘要求，你就知道 Redis 真的是一个后端通用技术，俗称通货膨胀下的硬通货。Redis 作为一个高...
去重的双端队列
SteveRocket's-Blog
03-20 1085
import collections #python双端队列 线程安全 class TaskQueue(object): def __init__(self): self.taskqueue = collections.deque() #从左边弹出 def lpop(self): if self.size() != 0:
简析SynchronousQueue，LinkedBlockingQueue，ArrayBlockingQueue
qq_40603010的博客
09-16 1220
SynchronousQueue SynchronousQueue是无界的，是一种无缓冲的等待队列，但是由于该Queue本身的特性，在某次添加元素后必须等待其他线程取走后才能继续添加；可以认为SynchronousQueue是一个缓存值为1的阻塞队列，但是 isEmpty()方法永远返回是true，remainingCapacity() 方法永远返回是0，remove()和removeAll() 方法永远返回是false，iterator()方法永远返回空，peek()方法永远返回null。
《吊打面试官》系列-Redis终章_凛冬将至 FPX_新王登基
WantFlyDaCheng的博客
02-16 465
你知道的越多，你不知道的越多点赞再看，养成习惯前言Redis在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难。作为一...
redis实现秒杀
最新发布
03-18
### 使用 Redis 实现秒杀功能 Redis 是一种高性能的键值存储数据库，特别适合用于高并发场景下的数据处理。在秒杀场景下，Redis 的原子性和高效性能可以有效解决库存超卖和高并发请求的问题。 #### 秒杀的核心原理 秒杀的主要挑战在于高并发访问可能导致资源竞争和库存超卖。通过 Redis 的 `INCR` 和 `DECR` 命令，可以在毫秒级时间内完成对共享资源的操作，并利用其原子性特性防止多线程冲突[^1]。 以下是基于 Redis 实现秒杀功能的关键点： 1. **库存扣减** 使用 Redis 的 `DECR` 或者 Lua 脚本来实现库存的安全扣减。如果库存小于等于零，则拒绝后续请求。 2. **订单去重** 防止同一用户多次提交请求导致重复下单，可以通过设置用户的唯一标识（如用户 ID）作为 key 来限制。 3. **限流保护** 利用 Redis 的计数器功能或者滑动窗口算法来限制单位时间内的请求数量，从而缓解服务器压力。 4. **异步通知** 对于未能成功抢购到商品的用户，可通过消息队列机制发送延迟通知或补偿策略。 --- #### 示例代码 以下是一个简单的 Java 代码示例，展示如何使用 Redis 实现秒杀功能： ```java import redis.clients.jedis.Jedis; public class SeckillService { private Jedis jedis; private String stockKey = "seckill:stock"; // 库存key private String userOrderPrefix = "seckill:user:"; // 用户订单前缀 public SeckillService(String host, int port) { this.jedis = new Jedis(host, port); } /** * 尝试购买商品 * * @param userId 用户ID */ public void tryToBuy(long userId) { // 检查用户是否已经购买过该商品 String userOrderKey = userOrderPrefix + userId; if (jedis.exists(userOrderKey)) { System.out.println("用户已参与秒杀"); return; } // 执行Lua脚本确保事务一致性 String script = "local currentStock = tonumber(redis.call('get', KEYS[1]));" + "if not currentStock or currentStock <= 0 then " + "return 'soldout'; end;" + "redis.call('decr', KEYS[1]);" + "redis.call('setex', KEYS[2], 60, 1);" // 订单有效期设为60秒 + "return 'success';"; Object result = jedis.eval(script, 2, stockKey, userOrderKey); if ("success".equals(result.toString())) { System.out.println("秒杀成功！"); } else if ("soldout".equals(result.toString())) { System.out.println("商品已售罄！"); } } public static void main(String[] args) { SeckillService service = new SeckillService("localhost", 6379); long userId = 1L; // 测试用户ID service.tryToBuy(userId); } } ``` 上述代码中，我们使用了 Lua 脚本来保证库存扣减和用户标记的一致性，避免因网络延迟或其他原因造成的数据不一致问题[^3]。 --- #### 性能优化建议 1. **预加载库存** 在活动开始之前预先将库存加载至 Redis 中，减少冷启动带来的额外开销。 2. **分片设计** 如果单机 Redis 存储无法满足需求，可以考虑采用 Redis Cluster 进行水平扩展[^4]。 3. **缓存穿透防护** 对不存在的商品信息进行布隆过滤器校验，降低无意义查询的压力。 4. **持久化配置** 启用 AOF 日志模式并定期备份重要数据以防丢失。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值