redis c->buf=3的极限测试

最新推荐文章于 2023-11-26 22:28:13 发布
原创 最新推荐文章于 2023-11-26 22:28:13 发布 · 364 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在RedisClient中将回复静态缓冲区buf设置为3时，导致命令解析错误的原因。通过分析发现，当buf大小为3时，特定命令会被组织成多个链表结点，在发送过程中可能出现数据读取混乱，进而引发解析命令出错。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天做了一个极限的测试，把redisClient的回复静态缓冲区buf，设置为3。这样做的目的是使用c->reply作为回复缓冲。测试的时候出现了解析命令出错的问题。


仔细思考了一下原因如下：当c->buf大小为3时，replconf ack 1会被组织成10个链表结点：



而发送时是一个节点一个节点的发送的。如先发*3\r\n,再发$8\r\n，这时被发送方会读取数据，有可能读到*3\r\n,也有可能读到*3\r\n$8\r\n，所以会出现解析命令出错。

Golang Redis客户端对比：Redigo vs Go-Redis谁更强？
Golang编程笔记的博客
05-18 914
Redis作为当今最流行的内存数据库之一，在缓存、消息队列、计数器等场景中广泛应用。在Golang生态中，Redigo和Go-Redis是两个最主流的Redis客户端库。全面对比两者的设计理念和实现差异通过基准测试量化性能差异分析不同场景下的适用性提供选型决策框架对比范围涵盖连接管理、API设计、事务支持、集群功能等核心方面。文章首先介绍两个库的背景和设计哲学，然后深入比较核心功能实现。性能对比章节包含详细的基准测试方法和结果分析。最后给出实际项目中的使用建议和最佳实践。
【檀越剑指大厂--redis】redis高阶篇
热门推荐
优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704
09-08 1万+
Redis没有直接使用C语言传统的字符吕表示 (以空字符结尾的字符数组，以下简称C字符串)，而是自己构建了 一种名为简单动态字符串(simple dynamic string，SDS)的抽象象类型，并将SDS用作 Redis的默认字符串表示。存储String类型的key-value时,key和value都是SDS类型的.字符串键值都用SDS表示.//字节数组 char buf [ ];//buf数组中已使用字节数量 int len;//buf数组中未使用字节数量 int free;}
redis源码阅读(4)-回复客户端请求
我想成为摄影家
11-18 1311
上一小节，分析了client的请求，这一小节主要看处理具体的命令的详细过程： 客户端指令解析完之后，需要执行该指令，执行指令的两个函数为processCommand与call函数，这两个函数除了单纯的执行指令外，还做了许多其他的工作，processCommand中调用了call函数，只分析call函数，其他的工作有点繁琐，等等仔细看完再写另起炉灶。 call函数中调用了具体的执行函数例如：sel
redis c->buf=3的极限测试,redis的解决方法
珺珺去哪儿
01-14 403
几天前做的redis c->buf=3极限测试，开始以为redis的解决方法就是把REDIS_REPLY_CHUNK_BYTES的数值放大。可是经过几天思考觉得不对，就算块放的再大也会出现命令不完整的情况，这种情况在redis中叫作short read。 查看源码后发现redis对这个问题的解决方法是：如果发现命令不完整就跳出读取命令的函数，同时不删除querybuf中的数据。直到命令完整时，才
Redis
qingmengrao的博客
02-07 956
1、Redis是什么 Redis（Remote Dictionary Server）译为“远程字典服务”，它是一款基于内存实现的键值型NoSQL（非关系型）数据库，通常也被称为数据结构服务器，这是因为它可以存储多种数据类型，比如String（字符串），hash（哈希散列），list（列表），set（集合），和sorted set（有序集合）等，Redis自带16（0-15）个数据库，在同一个库中，key是唯一存在的，不允许重复的，理论上Redis的每一个key和value的大小不超过512MB。 （1）
动力节点Redis7笔记-第三章Redis命令
f5465245的博客
05-25 1239
在Redis安装完毕后会自动安装一个redis-benchmark测试工具，其是一个压力测试工具，用于测试Redis的性能。通过redis-benchmark –help命令可以查看到其用法：其选项options非常多，下面通过例子来学习常用的options的用法。无论是Redis的Key还是Value，其基础数据类型都是字符串。例如，Hash型Value的field与value的类型、List型、Set型、ZSet型Value的元素的类型等都是字符串。
三、Redis 基本命令—— 超详细操作演示！！！
最新发布
weixin_43412762的博客
11-26 3393
Redis 基本命令—— 超详细操作演示！！！
一文带你吃透Redis
夏沫の梦的博客
03-15 607
当 Redis 进行内存淘汰时，会使用。
消息中间件----内存数据库 Redis7(第3章 Redis 命令)
m0_59281987的博客
02-17 1766
消息中间件----内存数据库 Redis7(第3章 Redis 命令)
Redis——Redis的扩展与应用
庄小焱
04-02 1738
Redis 和 Memcached 的区别？ Redis的高级的数据结构 String、Hash、List、Set、SortedSet。HyperLogLog、Geo、Pub/Sub。那你说还玩过Redis Module，像BloomFilter，RedisSearch，Redis-ML 避免缓存穿透的利器之BloomFilter 如果有大量的key需要设置同一时间过期，一般需要注意什么？ 如果大量的key过期时间设置的过于集中，到过期的那个时间点，Redis可能会出现短暂的卡顿现象。严重的.
Redis概述
2301_79228611的博客
08-14 262
Redis 指远程字典服务器 (Remote Dictionary Server)，是一款快速的开源内存中键值数据存储.Redis 创始开发人员 Salvatore Sanfilippo 为了提高他的意大利初创企业的可扩展性，启动了此项目。他由此开发了 Redis，目前 Redis 可用作数据库、缓存、消息代理和队列。
redis主从同步期间发送的各种命令和各种超时
珺珺去哪儿
01-11 3178
1.从服务器向主服务器发送1种命令：REPLCONF ACK offset 这个命令是主从完成同步后，从服务器定期向主服务器发送的命令。 作用有2个：1.if offet > c->repl_ack_off : c->repl_ack_off = offset                       2.c->repl_ack_time = server.unixtime 2.主服务器
redis过期时间和删除策略
珺珺去哪儿
05-05 2526
在redis中有4种方法可以设置过期时间:  expire : 设置生存时间为ttl秒 pexpire: 设置生存时间为 ttl毫秒 expireat : 设置过期时间为timestamp所指定的秒数时间戳. pexpireat: 设置过期时间为timestamp所指定的毫秒数时间戳. 其中timestamp为unix时间戳. redisDb结构的expires字典保存了数
记一次大压力测试下redis主从失败的分析过程
珺珺去哪儿
01-27 1655
错误出现时序图： 日志可以看出： 10.1.2.37（主服务器） 在1月26号晚21：32：02触发了这个异常 10.1.2.36（从服务器） 在1月26号晚21：32：18触发了全同步 在21：35：37完成全同步后，立即就触发了Broken pipe错误。 从开始到结束完全同步，总共用了199
redis主从复制过程中，slave端混读PING命令的问题
珺珺去哪儿
01-08 1084
最近两日在调试redis代码时遇到两个问题： 1.主从复制过程中，slave端的readSyncBulkPayload会读到错误的信息（主服务器发来的PING命令的一部分），导致slave端一直在向主服务器发送同步请求。 2.主从同步结束后，进入命令传播阶段。主服务器向从服务器传播命令后，如果命令执行成功，从服务器会返回+OK\r\n,主服务器不能识别这个命令，导致失败。 经过两天的
java 版本的redis-stat不能运行在后台和daemon
珺珺去哪儿
06-04 961
在使用java版本的redis-stat时，在putty中打开redis-stat后，如果退出putty则redis-stat不能工作。而且以后台方式打开redis-stat也不行（后面加&）.使用nohup还是不行，不过最后使用screen则可以，安装screen的方法是yum install screen。现在还不知道原因，下来研究。
redis 从服务器给主服务器发送ACK时，主服务器长时间不读取socket，则会出现错误。
珺珺去哪儿
01-06 925
最近一直在重写redis 源码，在调试时发现一个错误： 错误发生的场景如下： 从服务器不下断点，而主服务器的断点一直卡在，readQueryFromClient函数中的read函数之前。 在这种情况下，从服务器会一直向主服务器发送ACK，直到socket写缓冲区被写满，才停止。而主服务器由于一直被卡在read函数之前，所以socket接收缓冲区（我这缓冲区大小是335KB）的中数据一
redis rdb流程和相关函数逻辑
珺珺去哪儿
12-03 490
redis 清除过期键算法流程
珺珺去哪儿
11-20 445
过期键清除策略分为两种: 1 FAST,  2 SLOW FAST模式下: 运行周期为2秒,  超时时间为1秒. SLOW模式下: 运行周期没有,  超时时间为25秒.
#include "redismanager.h" #include <QDebug> RedisManager::RedisManager(QObject* parent) : QObject(parent) { context = redisConnect("127.0.0.1", 6379); if (context == NULL || context->err) { if (context) { qDebug() << "Error: " << context->errstr; redisFree(context); } else { qDebug() << "Can&#39;t allocate redis context"; } } } void RedisManager::getFirstLayerKeys() { QSet<QString> firstLayer; QJsonObject keyInfos; QString cursor = "0"; do { redisReply* reply = (redisReply*)redisCommand(context,"SCAN %s", cursor.toStdString().c_str()); if( reply == NULL ) { qDebug() << "Failed to execute command."; redisFree(context); return; } if( reply->type == REDIS_REPLY_ARRAY ) { cursor = QString(reply->element[0]->str); redisReply* keysReply = reply->element[1]; for(size_t i = 0; i < keysReply->elements; i++) { QString key = QString(keysReply->element[i]->str); int pos = key.indexOf(&#39;:&#39;); if (pos != -1) { QString firstLayerKey = key.left(pos); if (!firstLayer.contains(firstLayerKey)) { firstLayer.insert(firstLayerKey); redisReply* countReply = (redisReply*)redisCommand(context,"KEYS %s:*", firstLayerKey.toStdString().c_str()); if (countReply->type == REDIS_REPLY_ARRAY) { keyInfos.insert(firstLayerKey, QJsonValue((int)countReply->elements)); } freeReplyObject(countReply); } } } } freeReplyObject(reply); } while (cursor != "0"); emit firstLayerKeysReady(keyInfos); }
06-09
以下是一些可能的代码优化建议： 1. 建议使用 RAII（Resource Acquisition Is Initialization）技术来管理 Redis 连接，以确保在函数退出时正确释放连接。可以使用 C++11 中的 std::unique_ptr 来管理 redisContext 对象。 2. 建议使用 Redis 的 SCAN 命令来遍历所有的 key，而不是使用 KEYS 命令。因为 KEYS 命令在 Redis 中是一个非常耗费资源的命令，而 SCAN 命令则是一种更加高效的方式来遍历所有的 key。 3. 建议在函数开始时使用 redisAppendCommand 函数来批量执行 Redis 命令，而不是在循环中使用 redisCommand 函数执行单个命令。这样可以减少网络往返次数，提高程序的性能。 4. 建议将 QSet<QString> firstLayer 和 QJsonObject keyInfos 改为成员变量，以避免在每次函数调用时重新创建和初始化。 5. 建议使用 C++11 中的 auto 关键字来自动推断变量类型，以简化代码。 下面是应用上述优化后的代码示例： ``` #include "redismanager.h" #include <QDebug> #include <memory> RedisManager::RedisManager(QObject* parent) : QObject(parent) { context = std::unique_ptr<redisContext, decltype(&redisFree)>(redisConnect("127.0.0.1", 6379), redisFree); if (context == NULL || context->err) { if (context) { qDebug() << "Error: " << context->errstr; } else { qDebug() << "Can&#39;t allocate redis context"; } } } void RedisManager::getFirstLayerKeys() { auto firstLayer = QSet<QString>(); auto keyInfos = QJsonObject(); auto cursor = "0"; auto cmds = QStringList(); do { cmds << QString("SCAN %1").arg(cursor); auto reply = std::unique_ptr<redisReply, decltype(&freeReplyObject)>(nullptr, freeReplyObject); if (redisAppendCommand(context.get(), cmds.last().toStdString().c_str()) != REDIS_OK || redisGetReply(context.get(), (void**)&reply) != REDIS_OK || reply == nullptr || reply->type != REDIS_REPLY_ARRAY || reply->elements != 2) { qDebug() << "Failed to execute command."; return; } cursor = QString(reply->element[0]->str); auto keysReply = reply->element[1]; for (size_t i = 0; i < keysReply->elements; i++) { auto key = QString(keysReply->element[i]->str); auto pos = key.indexOf(&#39;:&#39;); if (pos != -1) { auto firstLayerKey = key.left(pos); if (!firstLayer.contains(firstLayerKey)) { firstLayer.insert(firstLayerKey); cmds << QString("KEYS %1:*").arg(firstLayerKey); } } } } while (cursor != "0"); auto reply = std::unique_ptr<redisReply, decltype(&freeReplyObject)>(nullptr, freeReplyObject); for (auto cmd : cmds) { if (redisAppendCommand(context.get(), cmd.toStdString().c_str()) != REDIS_OK) { qDebug() << "Failed to execute command."; return; } } for (size_t i = 0; i < cmds.size(); i++) { if (redisGetReply(context.get(), (void**)&reply) != REDIS_OK || reply == nullptr) { qDebug() << "Failed to execute command."; return; } auto firstLayerKey = cmds[i].mid(4, cmds[i].indexOf(&#39;:&#39;) - 4); if (reply->type == REDIS_REPLY_ARRAY) { keyInfos.insert(firstLayerKey, QJsonValue((int)reply->elements)); } freeReplyObject(reply); } emit firstLayerKeysReady(keyInfos); } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值