队列 管道 python使用redis

最新推荐文章于 2022-07-11 07:38:00 发布
原创 最新推荐文章于 2022-07-11 07:38:00 发布 · 874 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#队列 #管道 #python应用

本文深入探讨Redis的高级特性，包括消息通知、任务队列、优先级队列、发布/订阅模式及管道操作，解析BRPOP、BLPOP命令的阻塞机制，以及如何利用发布/订阅模式实现高效的消息传递。

文章目录

消息通知

任务队列

优点: 1.松耦合 2.易于扩展

BRPOP

功能:当列表中没有元素时BRPOP命令会一直阻塞住连接,直到有新元素加入.

  • BRPOP接受两个参数,第一个是键名,第二个是超时时间,单位是秒.当超过了此时间仍然没有获得新元素就回返回nil.
    当超时时间为0时,表示不限制等待的时间,即如果没有新元素加入列表就会永远阻塞下去
  • 当获得一个元素后BRPOP命令返回两个值,分别是键名和元素值.
打开两个实例:
redisA> BRPOP queue 0   这时会陷入阻塞状态
redisB> LPUSH queue task 实例B向queue中加入一个元素
LPUSH命令执行完后实例A马上就返回了结果 "queue" "task"
  • 除了BRPOP命令从队列右侧取数据外,BLPOP从队列左侧取值
优先级队列
  • BRPOP命令可以接收多个键,其完整的格式为BLPOP key [key…] timeout
例: BLPOP queue:1 queue:2 queue:3
不论queue:3,queue:2中有多少值,都会优先弹出最前面的key值的队列中的值,由此可以配置取值优先级

"发布/订阅"模式

  1. 发布者发布消息(返回值表示接收到这条消息的订阅者数量)
publish channel message
  1. 订阅频道
subscribe channel_name channel_name channel_name...

进入订阅状态客户端可能收到三种类型的回复,每种类型包含3个值,第一个是消息的类型,根据消息类型的不同,第二,三个值的含义也不同,
消息类型取值

  • subscribe.表示订阅成功的反馈信息,第二个值是订阅成功的频道名称,第三个值是当前客户端订阅的频道数量
  • message.这个类型表示接收到的消息,第二个值表示产生消息的频道名称,第三个值是消息的内容
  • unsubscribe.表示成功取消订阅某个频道.第二个值是对应的频道名称,第三个值是当前客户端订阅的频道数量,当此值为0时客户端会退出订阅状态,
    之后就可以执行其他非"发布/订阅"模式的命令了
按照规则订阅

psubscribe channel.?* 订阅指定的规则

  • channel.?*可以匹配channel.1和channel.10,但是不会匹配channel.
  • 收到的结果为第一个值"pmessage"是通过psubscribe命令订阅频道得到的
  • 第二个值"channel.?*" 表示订阅时使用的通配符
  • 第三个值表示实际收到信息的频道命令
  • 第四个值则是消息内容
    注意:
  • 使用PSUBSCRIBE命令可以重复订阅一个频道,如某客户端执行PSUBSCRIBE channel.? channel.?*的话,向channel1.10发送命令该客户端也会收到两个消息,
    而同时PUBLISH命令返回的值也是2而不是1.
  • 如果有另一个客户端执行了SUBSCRIBE channel.10和PSUBSCRIBE channel.?*的话,向channel.10发送该命令该客户端也会收到两条消息
    (但是是两种类型:message和pmessage),同时PUBLISH命令会返回2
  • PUNSUBSCRIBE命令可以退订指定的规则,用法是PUNSUBSCRIBE pattern pattern …没有参数会退订所有规则
  • 使用PUNSUBSCRIBE只能退订通过PSUBSCRIBE命令订阅的规则,不会影响SUBSCRIBE命令订阅的频道;UNSUBSCRIBE同理;
  • 使用PUNSUBSCRIBE命令退订某个规则是时不会将其中的通配符展开,而是进行严格的字符串匹配,所以PUNSUBSCRIBE * 无法退订channel.*规则,
    而是必须使用 PUNSUBSCRIBE channel.*才能退订

管道

  • 通过管道可以一次性发送多条命令并在执行完后一次性将结果返回,当一组命令中每条命令都不依赖于之前命令的执行结果时,就可以将这组命令一起通过管道发出,
  • 管道通过减少客户端与Redis的通信次数来实现降低往返时延累计值的目的
## python使用Redis

# 导入redis包
import redis
# 创建一个默认连接到127.0.0.1,端口为6379的redis连接
r = redis.StrictRedis()
# 也可以显示的指定需要连接的地址
r = redis.StrictRedis(host='127.0.0.1', port=6379, db=0)
# 使用set和get
r.set('foo', 'bar')
r.get('foo')
# 使用hmset和hset
#hset参数为(name, key, value)
r.hset('dict', 'name', 'bob')
# hmset参数为(key, mapping)
r.hmset('dict', {'name': 'bob', 'color': 'red'})
r.hgetall('dict')
# 使用事务
pipe = r.pipeline()
pipe.set('foo', 'bar')
pipe.get('foo')
result = pipe.execute()  # result == [True, b'bar']
# 使用管道 管道的使用方式和事务相同,只不过需要在创建时加上参数transaction=False
pipe = r.pipeline(transaction=False)
# 事务和管道都支持链式调用
result = r.pipeline().set('foo', 'bar').get('foo').execute()
【python】Python操作Redis数据库的详细教程与应用实战
景天科技苑
08-09 3491
Redis是一个高性能的键值存储数据库，支持多种类型的数据结构，如字符串、哈希表、列表、集合和有序集合等。由于其高效的读写速度和丰富的数据类型支持，Redis被广泛应用于缓存、消息队列、会话管理等多种场景。在Python中，通过redis-py库可以方便地操作Redis数据库。
python使用redis缓存_python使用redis缓存数据库
weixin_39852121的博客
12-18 536
Redis关注公众号“轻松学编程”了解更多。Windows下直接解压可用，链接：https://pan.baidu.com/s/1rD4ujoN7h96TtHSu3sN_hA 密码：t02c一、简介redis是一种高速高性能的内存数据库，存储的是键值对数据；由于极高的存储和访问速度，redis常被用来作为数据缓存服务器；另外redis是支持数据持久化的(即redis会自动将数据写入磁盘)——这是r...
redis实例python_使用python操作redis（管道）
weixin_39710295的博客
12-19 224
一、redis连接redis提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。redis连接实例是线程安全的，可以直接将redis连接实例设置为一个全局变量，直接使用。如果需要另一个Redis实例(or Redis数据库)时，就...
redis-py的blpop/brpop长时间过后不消费数据
爱空想的小菜鸟
01-18 1554
redis-py的blpop/brpop可能由于网络波动导致收不到信息场景问题解决办法原因 场景 业务上有一个需求，是将Redis作为消息队列，然后消费者消费队列中的数据。 问题 Redis 列表中长时间没有数据，等再有新的数据的时候仍然没有消费到数据，查看Redis，数据是存在的。 # 由于只有消费侧有问题，因此只有消费侧的代码 class RedisCli: # 这个类只是封装了一下redis 连接池 def __init__(self, *args, **kwargs): pass def
Python操作Redis（二）
ZhangQiye1993的博客
07-23 217
List操作 redis中的List在在内存中按照一个name对应一个List来存储。如图： lpush(name,values) # 在name对应的list中添加元素，每个新的元素都添加到列表的最左边 # 如：    # r.lpush('oo', 11,22,33)    # 保存顺序为: 33,22,11 # 扩展：    # rpush(name, values) 表示从右向左...
Python Redis 管道
Sc.Crits
05-13 280
Redis_管道 ''' 1 非关系型数据库，本身不支持事务 2 redis中的管道可以实现事务的支持（要么都成功，要么都失败） -实现的原理：多条命令放到一个管道中，一次性执行 3 具体代码 4 如果是集群环境，不支持管道 ''' import redis pool = redis.ConnectionPool() r = redis.Redis(connection_pool=pool) pipe = r.pipeline(transaction=True) # 开启事务 pip
使用python操作redis（管道）
python学习者的博客
04-27 1652
一、redis连接 redis提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。 redis连接实例是线程安全的，可以直接将redis连接实例设置为一个全局变量，直接使用。如果需要另一个Redis实例（or Redis数据库）时...
Python 操作 redis
墨鱼菜鸡
07-11 1129
官网命令(英文)列表：http://redis.io/commands Redis 教程：http://www.redis.net.cn/tutorial/3501.html Redis 命令参考：http://redisdoc.com/index.html Windows 中 redis 的下载及安装、设置：https://www.cn...
使用Python操作Redis的全面指南：从基本操作到高级功能
10-30
在Python中，可以使用redis-py提供的pipeline方法来开启一个管道，并将多个命令组合在一起，然后统一执行。这确保了这些命令要么全部成功，要么全部不执行，保证了数据的一致性。 在完成了对Redis的操作之后，应当...
python-redis的介绍及基本使用
qq_31455841的博客
01-05 565
python-redis 一 简介 ​ redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是
python-redis 管道
dyeee的专栏
09-15 248
redis默认在执行每次请求都会创建（连接池申请连接）和断开（归还连接池）一次连接操作，如果想要在一次请求中指定多个命令，则可以使用pipline实现一次请求指定多个命令，并且默认情况下一次pipline 是原子性操作   #!/usr/bin/env python # -*- coding:utf-8 -*- import redis pool = redis.ConnectionP...
Redis 管道技术（pipeline）
chbxw
06-22 1056
Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤： 客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。 服务端处理命令，并将结果返回给客户端。 Redis 管道技术   Redis 管道技术可以在服务端未响应时，客户端可以继续向服务端发送请求，并最终一次性读取所有服务端的响应。 ...
通过Redis队列，实现django(python)和Go之间通信
潜心修炼--记录点滴
09-19 1745
go语言写web感觉还是没有django写web那么得心应手，不过利用go的goroute做一些小组件还是很不错的。 django如果需要执行异步任务的话，可以将任务存入Redis队列，然后通过Go写的程序从Redis队列中取出任务，异步执行。比如发送邮件。 做了下简单测试，以下代码是能够实现通信的： python端： import redis,json pool=redis.Co...
Django Xadmin改造：整合redis作为消息队列管理后台
qq_27868819的博客
02-23 1300
    最近刚好需要使用到消息队列，与rabbitmq比较之后，发现redis更容易上手。虽然比起redis，rabbitmq对消息队列的功能支持更强大；而且redis不比rabbitmq——默认自带消息队列的管理后台。所以，我这里使用Django的xadmin进行了改造，来作为redis一个简单的消息队列可视化管理。效果如下图：       由于默认的xadmin功能是对数据库里的数据进...
Django、redis、缓存、消息队列、异步处理框架
suziguai的博客
03-04 1543
本文是作者在接触django框架后使用redis的心得体会，如果有写的不对的地方，还希望各位进行指正，也欢迎大家在评论区进行留言交流。因为本人是面向百度编程，处于想到啥问题百度啥，没有看过系统框架层面的介绍，如果想要了解系统的知识建议查阅官方文档。 业务场景： 1、使用redis缓存网站API接口调用的鉴权token 2、将API结果存入消息队列，以便在消息处理过程中添加人工修改消息处理结果的接口 3、Django异步处理框架（步骤2中的消息处理过程由代码执行-人工智能） 工具包版本： django-cel
分享一下Django + Celery + redis做任务队列可用的版本配置
南来北往技术小栈
01-13 998
小白用Django + Celery + redis做任务队列注意事项 文章目录小白用Django + Celery + redis做任务队列注意事项起因可用配置常见报错redis版本太高（3.0以上）Celery版本太高（4.0以上） 起因 最近又用Celery做任务队列，又遇到了版本不兼容导致的各种异常，经过一番调试后，终于成功。同时也发现，很多文章和帖子都是讲怎么在Django中使用red...
管道操作：redis-pipeline(python)
_Tsun 的博客
12-26 1288
管道（pipeline） 默认情况下，每一次操作redis，都会有一个 连接和断开的操作 如果想在连接和断开之间，执行多个操作，则可以使用pipeline. 除了上面节省 连接和断开的开销外，pipeline 还具备原子性操作。 原子性: 一个事务是一个不可分割的最小工作单位,要么都成功 要么都失败 import redis import time pool = redis.Connecti...
python操作redis用法详解
菜鸡小白的成长记录
11-01 6082
1.简单介绍 安装redis pip install redis Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单。本节中，我们就来介绍一下Python的Redis操作。 redis提供两个类Redis和StrictRedis来实现Redis的命令操作。StrictRedis实现了绝大部分官方的命令，参数也一一对应，比如set()方法就对应Redis命令的set方法。 而Redis是StrictRedis的子类，它的主要功能是用于向后兼容旧版本库
python redis 消息队列_基于python实现操作redis及消息队列
weixin_32563347的博客
01-28 659
操作 redisimport redisredisPool = redis.ConnectionPool(host='192.168.100.50', port=6379, db=8)redis= redis.Redis(connection_pool=redisPool)redis.set('key','values')redis.get('com')redis.append('keys','v...
python 使用redis 批量弹出数据
最新发布
09-25
<think> 我们正在查找使用Python通过Redis批量弹出数据的方法。根据之前的引用，虽然主要讨论的是批量插入（如使用pipeline和rpush/sadd），但我们可以借鉴类似的思路来实现批量弹出。 Redis中弹出数据通常使用LPOP（从左侧弹出）、RPOP（从右侧弹出）、SPOP（从集合中随机弹出）等命令。但是，这些命令默认一次只能弹出一个元素。要实现批量弹出，我们可以考虑以下方法： 方法1：使用循环多次弹出，但这样每次弹出都需要一次网络往返，效率较低。 方法2：使用Redis的Lua脚本，可以在服务器端执行多个弹出操作，然后将结果一次性返回。这样可以减少网络开销。 方法3：使用管道（pipeline）执行多个弹出命令，然后一次性获取所有结果。管道可以将多个命令打包发送，减少网络往返次数。 但是注意，使用管道执行多个弹出命令时，每个命令仍然是独立的，只是发送和接收结果是一次性的。另外，Lua脚本可以保证原子性，而管道则不能保证原子性（但在这个场景下，我们通常不需要原子性，只需要批量操作）。 下面我们主要讲解方法3（管道）和方法2（Lua脚本）。 一、使用管道（pipeline）批量弹出 以列表（List）类型为例，如果我们想从一个列表左侧批量弹出多个元素，可以使用多个LPOP命令（或使用LRANGE和LTRIM组合，但这里我们先使用多个LPOP）。 示例代码（使用管道批量从列表左侧弹出100个元素）： ```python import redis r = redis.Redis(host='localhost', port=6379, db=0) key = 'my_list' batch_size = 100 # 使用管道 with r.pipeline() as pipe: for i in range(batch_size): pipe.lpop(key) results = pipe.execute() # 处理结果，results是一个列表，包含每个弹出操作的结果 # 如果弹出时列表为空，则对应位置的结果为None popped_elements = [res for res in results if res is not None] print(popped_elements) ``` 但是，上面的方法在列表元素不足batch_size时，会有很多无效操作（返回None），并且每次弹出都需要一个命令。如果批量弹出数量很大，命令数量也会很大。 二、使用LRANGE和LTRIM（更适合列表类型的批量弹出） 对于列表，我们可以先一次性获取多个元素，然后删除这些元素（使用LTRIM）。这种方法只需要两个命令： 1. 使用LRANGE获取一定范围内的元素。 2. 使用LTRIM将已获取的元素从列表中移除。 注意：这种方法不是原子操作，但我们可以用Lua脚本将其原子化。 示例代码（非原子，适用于允许短暂不一致的场景）： ```python import redis r = redis.Redis(host='localhost', port=6379, db=0) key = 'my_list' batch_size = 100 # 首先获取0到batch_size-1的元素 elements = r.lrange(key, 0, batch_size-1) if elements: # 然后移除这些元素，保留从batch_size到最后一个元素 r.ltrim(key, batch_size, -1) print(elements) ``` 三、使用Lua脚本（保证原子性） 我们可以将上面的两个操作（LRANGE和LTRIM）合并为一个原子操作。 Lua脚本示例： ```lua -- 批量从左侧弹出元素 local key = KEYS[1] local batch_size = tonumber(ARGV[1]) local elements = redis.call('lrange', key, 0, batch_size-1) if #elements > 0 then redis.call('ltrim', key, batch_size, -1) end return elements ``` Python中调用该脚本： ```python import redis r = redis.Redis(host='localhost', port=6379, db=0) key = 'my_list' batch_size = 100 lua_script = """ local key = KEYS[1] local batch_size = tonumber(ARGV[1]) local elements = redis.call('lrange', key, 0, batch_size-1) if #elements > 0 then redis.call('ltrim', key, batch_size, -1) end return elements """ batch_pop = r.register_script(lua_script) popped_elements = batch_pop(keys=[key], args=[batch_size]) print(popped_elements) ``` 四、对于集合（Set）类型，批量弹出可以使用SPOP命令，该命令从Redis3.2开始支持一次弹出多个元素。 示例： ```python # 一次弹出集合中的10个元素 popped_elements = r.spop('my_set', 10) ``` 五、对于有序集合（Sorted Set）或哈希（Hash），没有直接的批量弹出命令，但可以通过组合命令（如ZRANGE+ZREM）或使用Lua脚本实现。 总结： 根据数据类型不同，批量弹出的方法也不同： - 列表（List）：推荐使用Lua脚本（原子操作）或LRANGE+LTRIM（非原子）。 - 集合（Set）：使用SPOP命令（支持批量）。 - 其他类型：可能需要组合命令或Lua脚本。 请根据实际使用的数据类型选择合适的方法。 §§相关问题§§ 1. 使用Python操作Redis时，如何保证批量弹出操作的原子性？ 2. Redis中集合(Set)类型的批量弹出操作有哪些注意事项？ 3. 除了列表和集合，其他Redis数据类型（如有序集合）如何实现批量弹出？ </think> ### Python使用Redis批量弹出数据的实现方法 在Redis中实现批量弹出数据，主要依赖管道（pipeline）和Lua脚本两种技术。以下是具体实现方案： #### 1. 使用管道（pipeline）批量弹出 管道可将多个命令打包发送，减少网络往返时间： ```python import redis r = redis.Redis(host='localhost', port=6379, db=0) key = 'my_queue' batch_size = 50 # 每批弹出数量 with r.pipeline(transaction=False) as pipe: for _ in range(batch_size): pipe.lpop(key) # 左侧弹出（队列） # pipe.rpop(key) # 右侧弹出（栈） results = pipe.execute() # 过滤空值并解码 popped_data = [item.decode() for item in results if item is not None] print(f"弹出数据: {popped_data}") ``` **说明**： - 适用于列表类型的`LPOP/RPOP`命令 - `transaction=False`禁用事务保证原子性 - 实际弹出数量可能小于`batch_size`（队列元素不足时返回None） #### 2. 使用Lua脚本原子操作 需要保证原子性时（如分布式环境）： ```lua -- batch_pop.lua local key = KEYS[1] local count = tonumber(ARGV[1]) local popped = {} for i=1,count do local item = redis.call('LPOP', key) if not item then break end table.insert(popped, item) end return popped ``` Python调用脚本： ```python lua_script = """ local key = KEYS[1] ... # 如上Lua脚本内容 """ script = r.register_script(lua_script) result = script(keys=[key], args=[batch_size]) ``` #### 3. 不同数据类型的弹出方法 | 数据类型 | 命令 | 批量支持 | |----------|---------------------|-------------------| | 列表List | `LPOP`/`RPOP` | 需循环或Lua脚本 | | 集合Set | `SPOP` | 原生支持批量`SPOP key count` | | 流Stream | `XREAD`/`XCLAIM` | 支持多消息读取 | **集合批量弹出示例**： ```python # 一次性弹出10个元素 popped_set = r.spop('my_set', 10) ``` #### 注意事项 1. **性能优化**：管道批处理大小建议100-1000（根据数据大小调整） 2. **原子性**：Lua脚本保证原子性，管道不保证 3. **空值处理**：弹出操作需检查None值 4. **连接管理**：使用连接池提升性能 ```python pool = redis.ConnectionPool(host='localhost', port=6379) r = redis.Redis(connection_pool=pool) ``` > 通过管道批量操作可提升效率10倍以上（相比单条命令）[^1]，Lua脚本适用于需要原子性的场景[^2]。实际选择需考虑数据类型和一致性要求[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱学习的狮王

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值