Redis:你永远不知道告警和下班,谁先到来

360981994662b4aff67252a7ad56f9db.png

d1a435a6f994fa276f48091b6c653ea6.gif

👉导读

前段时间,笔者所负责的一个模块出现了访问 Redis 耗时较长的问题,在这个问题排查的过程中,对 Redis 的问题排查思路和压测、调优进行了一些系统的学习和沉淀,在这里分享给大家。

👉目录

1 第一个重点,服务排障的基本方法

2 第二个重点,Redis 服务排障的基本方法

3 第三个重点,复现问题和测试的基本方法

01

第一个重点,服务排障的基本方法

在岁月静好的一天,正当笔者准备下班工作的时候,突然,告警出现了!

0194765f5b8d9f9d3d22f5ca54b03058.jpeg


嗯,又是一到下班就会告警!

afb375005dd660d206477124b6f5a920.jpeg

仔细一看,原来是数据整体处理时间的慢了。

既然慢了,就看看具体哪个链路慢了。

d11f22f1d5a5b86e27d5551829f572a0.jpeg

看来是 A 模块的 B 阶段的处理耗时突然慢了。

赶紧确认反向查询哪里出了问题,因为 B 阶段不是 A 模块的第一个阶段,所以基本排除是模块间的网络通信、带宽等问题。

那这里有两个思路:

1.排查这个 A 模块本身的问题;

2.排查数据量的问题。

首先排查 A 模块本身的问题,这里的经验是,横向看基础指标,纵向看代码变更。

1.1 先看 A 模块服务的基础资源数据:

内存正常:

f797d3d1bbe3cb0614222954d02540e9.jpeg

CPU 正常:

f1be0ea44d6a0ea9f8e423709cc2d4e4.jpeg

1.2 再看所在 Node 节点的负载情况:

Node 负载正常,而且一般 Node 有问题,不会单服务出现问题。

2de71c30c99bac0ecb30944ce4423406.jpeg

1.3 再看磁盘占用情况:

存储节点一切正常。

b77f1050b31017814c99e3579da9bbf2.jpeg


看起来,CPU、内存、网络 IO、磁盘 IO 几个大的指标没有明显的变化。

1.4 那是不是最近发布出现的问题呢?

经项目成员对齐,A 模块近期也没有进行发布。再排查下数据量的问题。

2.1 那再看看是不是数据量出现问题?

52cf19c038f21f0b1d87a2f35d7ac089.jpeg

嗯,上报量确实增加了5倍,既然这样:扩容、限流、服务降级三板斧搞上,问题解决了!

4f1009c2c1d9a772e1857ca542694620.jpeg


舒服!下班!

7dad9e54945a47172db7c66e8b59edce.jpeg


然后,在一个寂寞无人的深夜里,笔者突然惊醒!

问题当时虽然解决了,但其实并没有真的确认根本原因,数据量也许只是一个引子,这里会不会有性能优化的点呢?

ddd9896ad8876956f3527c8327ad38b1.jpeg


在降本增效的大背景,性能优化在服务端更是一个重要的目标。于是,笔者翻身起床,又进一步的研究了一下。

3a3753ca039d99e94507feb1c4a7d2bf.jpeg

既然,问题出在 A 模块的 B 阶段,那首先进行细化,到底哪个方法出现了这么就耗时,排查耗时这里也有两个思路:

1.业务打点进行排查;

2.性能分析工具排查。

一般来说,先用业务打点确认大概范围,然后通过性能分析工具精确确认问题点。之所以这样是因为有两个原因:

一是业务代码一般是造成问题的主要原因,在业务代码进行有效打点,可以更快地确认问题范围、变更范围、责任范围,从而可以有明确的责任人去跟进。

二是一般来说性能分析工具排查都会定位到一些组件函数、系统函数,所以可能有很多个调用者、先用耗时打点的方式确认范围,可能更小的范围确认调用者,也就是疑似点,这样组合起来会比较顺畅。

1.先打点确定业务范围:

1.1 首先是修改了一下指标上报的代码,在监控面板上查看。

1bb8f1c21c2d29ef2d486fdfb3661c4e.jpeg

1.2 然后是在模块的日志中进行耗时采集和输出:

e3f41f668101610c4fbbb37eae698e17.jpeg

结果都基本上定位到函数是 Redis 的计数自增逻辑。

至于为什么采用两种方法进行确认,是因为,实际业务会比较复杂,很多函数并不是线性调用,获取正确且精确耗时并不容易,需要多种方案去确认。

2 再用性能分析工具去定位精确函数:

这里主要用的 pprof 工具。

8b6e9a3c1431990a72d97bf887ba5406.jpeg

可以看到,紫色部分就是 Redis 相关命令的调用耗时,基本上占了总耗时的大头 Double check!

事实上,这里笔者只是拿了一个函数作为例子,在这个场景下,基本上所有的 Redis 相关的命令都慢到秒级,也就是说,Redis 可用性出现了问题。

你看,我就说这个班没有白加,我们把问题从“数据量突增”转换到“Redis 可用性”上来。嗯,这里我擅长!

cd290b13ca40937bd3e8795de3d9f7d6.jpeg

毕竟,我们都喜欢把问题规约到以前解决的问题中(并没有)。

一位物理学家和一位数学家正坐在教职员休息室里。突然间,咖啡机着火了。物理学家抓起一个水桶,朝水槽跳跃,用水填满水桶,把火浇灭。第二天,同样的两个人坐在同一个休息室。咖啡机再次着火。这一次,数学家赶紧跳起来,抄起桶,递给了物理学家。(数学家擅长将问题规约到以前解决的问题中)

02

第二个重点,Redis 服务排障的基本方法

既然是 Redis 的问题,我们就看看到底如何排查 Redis 服务。其实,这里有很多的总结和文章,笔者这里主要是结合一个实际的问题,对思路进行再次整理。

首先,我们的问题是:Redis 服务请求的回包慢。这里的思路是:Redis 服务本身问题——Redis 数据存储问题——请求 Redis 的问题。

一般来说业务出现问题的可能性>服务本身出现问题的可能性。但由于,业务模块没有太多变动,所以这次先查服务本身。

1.Redis 服务本身问题——Redis 所在节点网路延迟问题确认

按照理论上来讲,应该首选确认是 Redis 服务本身的问题,还是节点网络的问题。这里引用 kevine 一篇文章的一段话

业务服务器到 Redis 服务器之间的网络存在问题,例如网络线路质量不佳,网络数据包在传输时存在延迟、丢包等情况。

网络和通信导致的固有延迟:

客户端使用 TCP/IP 连接或 Unix 域连接连接到 Redis,在 1 Gbit/s 网络下的延迟约为200 us,而 Unix 域 Socket 的延迟甚至可低至 30 us,这实际上取决于网络和系统硬件;在网络通信的基础之上,操作系统还会增加了一些额外的延迟(如线程调度、CPU 缓存、NUMA 等);并且在虚拟环境中,系统引起的延迟比在物理机上也要高得多。

结果就是,即使 Redis 在亚微秒的时间级别上能处理大多数命令,网络和系统相关的延迟仍然是不可避免的。

可以看到,事实上,即使到物理硬件层,网络的延迟还是有的但不大,但加上 Redis 所在机器上的带宽限制和网桥性能等问题,这个问题可能会到达不可忽略的地步。

事实上,在这个案例中,基本排除是节点网络的问题,一是,当数据量下降的时候,Redis 的回包耗时减少。

b3695fab220a8cafad40e361804ba8a3.jpeg


二是,Redis 服务是集群内服务,通过监控发现,内网带宽并没有突破限制。

2.Redis 服务本身问题——Redis 自身服务网路延迟问题确认

对于单实例:这里有两个比较经典的命令。

2.1 redis-cli -h 127.0.0.1 -p 6379 --intrinsic-latency 60。

即在 Redis server 上测试实例的响应延迟情况。

7f31c1ac7ad31f8b77ec93f9412a2e94.jpeg


可以看到,响应还是挺快的。不过,这个是瞬时速度,需要现场抓,所以在复现问题上来说不是那么好用,所以可以稍微调整下命令。

2.2 redis-cli -h 127.0.0.1 -p 6379 --latency-history -i 1。

查看一段时间内 Redis 的最小、最大、平均访问延迟:

a25ed4c2c639fc55073633a47f5d9243.jpeg

可以看到,也没啥问题。

2.3 吞吐量(使用info stats)

a3f90a249d4019d66143b275da232ce8.jpeg

具体含义如下:

# 从Rdis上一次启动以来总计处理的命令数
total_commands_processed:2255
# 当前Redis实例的OPS,redis内部较实时的每秒执行的命令数
instantaneous_ops_per_sec:12
# 网络总入量
total_net_input_bytes:34312
# 网络总出量
total_net_output_bytes:78215
# 每秒输入量,单位是kb/s
instantaneous_input_kbps:1.20
# 每秒输出量,单位是kb/s
instantaneous_output_kbps:2.62

其实看到这里,相信很多同学会发现,这个吞吐量要是有时序图好了,嗯,事实上,这也就是为啥很多服务要配置 Prometheus 的原因:

e6302e4f83dac6a21a0189f9ebc2066d.jpeg

对于多实例:还要考虑主从同步的问题。主要关注:master_link_down_since_seconds、master_last_io_seconds_ago、master_link_status 等指标。

使用 info Replication 命令:

6a6b4ebefb78490302086f3fce2b77ca.jpeg


不过一般用上了主从同步这一套,基本上业务就会比较重了,运维同学也会在早期建立起监控。

回到问题,这里服务没有用主从同步的方式,所以,这里的疑似点排除。

3. Redis 服务本身问题——CPU、Memory、磁盘 IO

其实从前面排障可知:内存、CPU、IO、磁盘应该是最基本的指标,这里之所以先查网络 IO,是因为 IO 的疑点最大,其他的基本上可以通过 info memory;info CPU;info Persistence 命令来查看,这里有一个详细的表格供大家参考,回到问题,查看的信息如下:

0dc4504d127dfa10825d6b90f8da29d0.jpeg

c80e462e4306105d513fda64ce48b4b2.jpeg


7a23862a195e985d2867280e91887690.jpeg


107da36ae7dd00ac4bd914efcd3a231c.jpeg


可以看到 CPU 比较高,快到了90%。这里补充一个知识点:CPU 这里,除了上面的内容外:

还有一个场景绑定固定 CPU 核心的设置,在 Redis6.0 上有。

memory 这里,主要关注三个指标:

used_memory_rss_human:表示目前的内存实际占用——表示当前的内存情况。

used_memory_peak_human:表示内存峰值占用——表示曾经的内存情况(主要是用来抓不到现场的时候查问题用的)。

mem_fragmentation_ratio:这里引用kevine一篇文章的一段话。

内存碎片率( mem_fragmentation_ratio )指标给出了操作系统( used_memory_rss )使用的内存与 Redis( used_memory )分配的内存的比率 mem_fragmentation_ratio = used_memory_rss / used_memory 操作系统负责为每个进程分配物理内存,而操作系统中的虚拟内存管理器保管着由内存分配器分配的实际内存映射 那么如果我们的 Redis 实例的内存使用量为1 GB,内存分配器将首先尝试找到一个连续的内存段来存储数据;如果找不到连续的段,则分配器必须将进程的数据分成多个段,从而导致内存开销增加,具体的相关解释可参考这篇文章:Redis 内存碎片的产生与清理 内存碎片率大于1表示正在发生碎片,内存碎片率超过1.5表示碎片过多,Redis 实例消耗了其实际申请的物理内存的150%的内存;另一方面,如果内存碎片率低于1,则表示Redis需要的内存多于系统上的可用内存,这会导致 swap 操作。内存交换到磁盘将导致延迟显著增加 理想情况下,操作系统将在物理内存中分配一个连续的段,Redis 的内存碎片率等于1或略大于1。

这里其实隐含了一个知识点:作为内存型数据库,磁盘也是一个关键点:这里包含了两个方面(1.持久化 2.内存交换)。

持久化是一个比较容易忽略的问题,但其实在集群模式下,持久化可能也会从侧面发现问题,这里可以关注如下几个点:

d453dc1533b214834a8b8c4381e9a050.jpeg

查询的信息有这个几个:

ae50afdef84049ec8ce69a7fbed705ff.jpeg

还有一个比较特殊:latest_fork_usec,这个基本上是跟宿主机的关系比较大,如果耗时较久,一般会出现在 ARM 等机器上。

内存交换这里其实也是一个关键点:

这里主要关注的点是:maxmemory、maxmemory-policy、evicted_keys。

一是最大内存限制 maxmemory,如果不设这个值,可能导致内存超过了系统可用内存,然后就开始 swap,最终可能导致 OOM。

二是内存驱逐策略 maxmemory-policy,如果设了 maxmemory 这个值,还需要让系统知道,内存按照什么样策略来释放。

这里补充个知识点 Reids4.0 之后可以将驱逐策略放在后台操作,需要这样设置。

lazyfree-lazy-eviction yes

三是驱逐数:evicted_keys,这个可以通过 info stats 查看,即采用驱逐策略真正剔除的数据数目。

2aa78e9e7c4e562b68a6f355f36ba6b8.jpeg

四是内存碎片率,在上面的引用已经给出了,内存碎片率低的情况下可能导致 swqp。你看,这里其实是内存和磁盘 IO 的联动点。

回到问题,从上面的截图可以看到,除了 CPU 外,基本指标是正常的(maxmemory 虽然没设,但内存远没到限制)。那么再来查查 Redis 数据存储的问题。

1. Redis 数据存储的问题——key 的总数

命令为 info keyspace,主要是 Redis 实例包含的键个数。

这里单实例建议控制在 1kw 内;单实例键个数过大,可能导致过期键的回收不及时。


之所以先查这个是因为,这里很可能是一个容易被人忽略的点,可能每个业务的量不大,但最后一个业务成为压死骆驼的最后一根稻草,所以有问题先排查这里。

a905e4b57801bec4ac1db00565e8038f.jpeg

这里可以看到,总 key 的数目是没有超过限制的,问题点不在这。

2. Redis 数据存储的问题——Bigkey、内存大页

所谓大 key,就是耗时久的 key,具体定义,嗯,这里是 bigkey 的危害:

Redis 阻塞 :因为 Redis 单线程特性,如果操作某个 bigkey 耗时比较久,则后面的请求会被阻塞。

内存空间不均匀 :比如在 Redis cluster 或者 codis 中,会造成节点的内存使用不均匀。

过期时可能阻塞 :如果 Bigkey 设置了过期时间,当过期后,这个 key 会被删除,假如没有使用 Redis 4.0 的过期异步删除,就会存在阻塞 Redis 的可能性,并且慢查询中查不到(因为这个删除是内部循环事件)。

导致倾斜 :某个实例上正好保存了 bigkey。bigkey 的 value 值很大(String 类型),或者是 bigkey 保存了大量集合元素(集合类型),会导致这个实例的数据量增加,内存资源消耗也相应增加。实例的处理压力就会增大,速度变慢,甚至还可能会引起这个实例的内存资源耗尽,从而崩溃。

总之就是查询和删除容易造成堵塞,所以要专门看一下,当然这里还有一个关联的知识点:

内存大页:内存页是用户应用程序向操作系统申请内存的单位,常规的内存页大小是 4KB,而 Linux 内核从 2.6.38 开始,支持了内存大页机制,该机制允许应用程序以 2MB 大小为单位,向操作系统申请内存。

由于系统采取的 COW(写时复制)的方案、如果频繁写请求操作的是一个 bigkey,那主进程在拷贝这个 bigkey 内存块时,涉及到的内存大页会更多,时间也会更久,从而延迟比较久。

具体命令:redis-cli -h 127.0.0.1 -p 6379 --bigkeys -i 0.01

265a90b8920eb29a5efae3449835923e.jpeg

43d0527759188cfa04e63690a86edd95.jpeg

可以看到,没有 bigkey,内存大页也没开启,问题点也不在这里。

3. Redis 数据存储的问题——key 集中过期

除了当数据库用,基本上 Redis 里面的 key 都会设置过期时间,这时有可能存在集中过期导致负载过高的问题。

这里补一个知识点:过期策略和驱逐策略的区别 

d6dbc8a5b02531bc60354cdd2839437e.jpeg

回到主线,结论就是 Redis 的定时过期策略虽然会有时间上限限制,但依然在大量过期的情况下出现延时高的情况。

不过,这里与这个问题应该关系不大,因为如果是过期问题,不会仅出现在数据量大的情况发生,应该是“周期性出现”,所以问题点也不在这里。既然不是数据本身的问题,那再看看是不是访问的问题。

1. 请求 Redis 的问题——客户端连接数、阻塞客户端的数

这里可能会奇怪,为什么查这个数据,一般业务服务链接 Redis 的请求不是通过客户端,嗯,就是因为问题很少可能出现在这里,所以先查这里。

e65d487c3057980dd19dda2d50d0eed5.jpeg

连接数430个、阻塞数0个,没有超过限制,所谓问题不在这里。阻塞的经典函数包括: BLPOP, BRPOP, BRPOPLPUSH。

2. 请求 Redis 的问题——慢命令

即查看请求的命令耗时多久。如下图:

第一个命令是指保留慢命令的条数:128。

第二个命令是慢命令的标准 1000毫秒。

第三个命令是查看慢命令的 top 2和 top 3。

      第一个值是 id。

      第二个值是执行的时间点。

      第三个值是执行时间。

      第四个值是执行的命令。

34cda38bcf3e1eaed961b0d29785f061.jpeg

这里对几个慢命令的时间进行了查询,发现与 Redis 回包慢的时间不相符,而且并没有太慢,故问题也不在这里

3. 请求 Redis 的问题——缓存未命中

这里主要是看 info stats 的两个值:

d8416f282cd3e94cca7e66e017b6f1ff.jpeg

不过这里并不是这个问题的重点,通过梳理业务逻辑得知,并没有未命中就去持久化数据库再去查询的逻辑。

4. 请求 Redis 的问题——Hotkey

反过来,会不会是访问了某个点太多次了,在 Redis4.0.3 之后,可以查 hotkey 的情况。

当然,要先把内存逐出策略设置为 allkeys-lfu 或者 volatile-lfu,否则会返回错误:

62d4fbc2392592a7b88bd418cdbad8f3.jpeg

318e29ed7374808627e2f7635a77701c.jpeg

这里有个小细节,笔者负责的模块是 Redis4.0.0,刚好没有 hotkey 监控,然后笔者尝试升级了 Redis 到5.0.0。

依然也没有,最后发现还需要升级业务服务的 Redis 的组件库(pakeage)。

7ccd6daeab8787eaf36d2423cfa43957.jpeg

还好,笔者的负责的服务自己构建了一个热度统计。

3e8ee860524919e7428f0c7c398e3fd9.jpeg

嗯,看起来 hotkey 的问题确实存在,好,我们继续。

经过以上三个方面的排查:我们发,CPU 高、hotkey 明显。这里隐含了一个点:与 CPU 相对的是 OPS 并没有很高。

也就是说,虽然 Redis 很忙,但似乎并没有很高的服务产出——对,这句话用在工作上有时也挺合适🐶。一般遇到这个情况,我们就要仔细分析下,到底 Redis 的 CPU 消耗在哪里了。

这里就要仔细分析下 Redis 的服务架构了,Rrdis6.0之前,主要采用的单线程模式,为什么采取单线程。官方的回答是:

1da2f23b461da57d384a0af15a1305d5.jpeg

核心意思是:CPU 并不是制约 Redis 性能表现的瓶颈所在,更多情况下是受到内存大小和网络I/O的限制,所以 Redis 核心网络模型使用单线程并没有什么问题,如果你想要使用服务的多核C PU,可以在一台服务器上启动多个节点或者采用分片集群的方式。

除了上面的官方回答,选择单线程的原因也有下面的考虑。在另一篇文章中:使用了单线程后,可维护性高,多线程模型虽然在某些方面表现优异,但是它却引入了程序执行顺序的不确定性,带来了并发读写的一系列问题,增加了系统复杂度、同时可能存在线程切换、甚至加锁解锁、死锁造成的性能损耗。

回到正题,对于文件事件来说结构图是下图,单线程处理逻辑是:

d427165383ab67227b26b53ad426ef89.jpeg

图中的蓝色部分是一个事件循环,是由主线程负责的,可以看到网络 I/O 和命令处理都是单线程,所以看起来这里会有挺多的网络 IO 在里面,那这里会不会有坑呢?

其中,在《Redis 6.0 新特性-多线程连环13问!》指出:

Redis 将所有数据放在内存中,内存的响应时长大约为100纳秒,对于小数据包,Redis 服务器可以处理80,000到100,000 QPS,这也是 Redis 处理的极限了,对于80%的公司来说,单线程的 Redis 已经足够使用了。

但随着越来越复杂的业务场景,有些公司动不动就上亿的交易量,因此需要更大的 QPS。常见的解决方案是在分布式架构中对数据进行分区并采用多个服务器,但该方案有非常大的缺点,例如要管理的 Redis 服务器太多,维护代价大;某些适用于单个 Redis 服务器的命令不适用于数据分区;数据分区无法解决热点读/写问题;数据偏斜,重新分配和放大/缩小变得更加复杂等等。

从 Redis 自身角度来说,因为读写网络的 read/write 系统调用占用了 Redis 执行期间大部分 CPU 时间,瓶颈主要在于网络的 IO 消耗, 优化主要有两个方向:

提高网络 IO 性能,典型的实现比如使用 DPDK 来替代内核网络栈的方式

使用多线程充分利用多核,典型的实现比如 Memcached。

协议栈优化的这种方式跟 Redis 关系不大,支持多线程是一种最有效最便捷的操作方式。所以总结起来,redis支持多线程主要就是两个原因:

可以充分利用服务器 CPU 资源,目前主线程只能利用一个核。

多线程任务可以分摊 Redis 同步 IO 读写负荷。

咦,这里是不是就是问题的关键呢?笔者负责的 Redis 的版本是5.0,且 QPS 这里也比较符合。事实上,关于网络 IO 占用 CPU 问题的深究来说,网上也有文章有说明。

c1b5dec80a1001336ea21eaeeb1200bf.jpeg

而 Redis 6.0 以前的单线程网络 IO 模型的处理具体的负载在哪里呢?虽然 Redis 利用epoll机制实现 IO 多路复用(即使用 epoll 监听各类事件,通过事件回调函数进行事件处理),但 I/O 这一步骤是无法避免且始终由单线程串行处理的,且涉及用户态/内核态的切换,即:

从socket中读取请求数据,会从内核态将数据拷贝到用户态 (read 调用)

将数据回写到socket,会将数据从用户态拷贝到内核态 (write 调用)

按照上文的介绍:上面的红色部分会导致 CPU 的消耗——说好的 Redis 的瓶颈不在 CPU 呢!

03

第三个重点,复现问题和测试的基本方法

那如何确认这里的猜测呢?按照先 Demo 确认——再模拟线上服务的方式。

   3.1 本地 Demo 确认

既然是网络 IO 多,那怎么减少网络 IO 呢?两个方案:一个是 pipeline、一个是 Lua 脚本。

首先 kevine 同学了做了 pipline 的测试,并用 perf 做了检测,发现上下文切换次数却是少了!

31c39158f65db0aa35984c199b167de2.jpeg

   3.2 线上模拟服务

这里就会比较麻烦,因为一到线上,数据链路就会比较长。我们先简化一下服务链路。

9877b26b869ec2fdd1ca69061b04e128.jpeg

从质量同学的角度上看:压测讲究的是全链路模拟,不然就无法做上线前的最后的质量守护。

从开发同学的角度上看:复现问题最好用到最低的资源,因为更多的资源意味着更多的人力成本、时间成本、沟通成本。

两个角度都没有问题,事实上,笔者认为,只有从两个角度看问题,才能更好地平衡质量和效率。

在这里,笔者主要用的开发角度尽快的复现问题,所以选择模拟 kafka 的数据消费,然后给到服务 Y 压力,最终将压力传导到 Redis 中,具体工具使用 kaf。

1.首先将 kaf 装在了 kafka 的一个服务中。

2.然后抓取线上的数据30条(之所以抓的这么少,是因为线上就是 hotkey 的问题,这里模拟的就是大量相似数据访问的场景)。

3.使用 kaf 给到10000次的生产数据。

cat xxx-test | kaf produce kv__0.111 -n 10000 -b qapm-tencent-cp-kafka:9092

结果,压力不够。

e27aa7b53e424f58e8a31f7f45f2ce1b.jpeg

为了提高压力,这里指定不同的 partition 平均写入,即每个 partition 写入10000次。

for i in {0..8};do cat xxx-test | kaf produce kv__0.111 -n 10000 -p ${i} -b qapm-tencent-cp-kafka:9092 ; done

结果,压力还是不够。

facbf63ab28cf51d8df288e9145e56ba.jpeg

那就将 kaf 装在每一个 kafka 的服务中。

27827f2cd279e414a55438d7f5766693.jpeg

结果:

3baaff8a9061363d76d68d957a6b5a96.jpeg

有效果,但 Redis 的 CPU 还是不是很高。

1544e597538bd85ee473463d2ead3fac.jpeg

看下监控。

647180f16512da301dd66b4ca513fd36.jpeg

啊,服务 Y 的 CPU 一直也不高,看来,服务 Y 并没有感受到压力。

819204519676969c907769fd359045e7.jpeg

给服务 Y 加协程,CPU 上来了。

354aaaa1d672ec6ca0ac9f956131d4bc.jpeg

但内存提前满了。

1a22ed6595a53b24e68c4368444dc0bd.jpeg

431823efaf7e900a5bcfd66fa2b07c0b.jpeg

加内存。这里其实也是一个资源调优的经验,事实上,一个服务的内存和 CPU 的比例关系需要结合线上的负载来看,而且要定期看,不然也会导致资源浪费。

好的,CPU 和内存都调整了,搞起!

19eca4afa48dd5d4d9dd8cb62a2221f6.jpeg

14fe74d05fe9b41e788763f2cdba3a94.jpeg


终于,Redis 的 CPU 上去了!看下 OPS:

ca40cea98573e577d262d34779222d7e.jpeg


果然:hotkey 其实就会导致 CPU 变高,而这时,因为大量的 CPU 都在数据切换和存储上,导致其他的请求比较慢。

现象对上了!那如何解决呢?

也是三板斧:

1.如果是多实例的话,就是经典的读写分离!

2.如果是单实例的话,就使用 pipeline 批量写入。

3.如果pipeline无法满足业务的话,就在业务服务只加一层缓存。

毕竟滑铁卢大学教授 Jay Black 的一句名言:计算机科学中的每个问题都可以用一间接层解决。

基于服务现状,笔者选择了第三种方案:然后,服务耗时降下来了!

26eb74641f3b0acd78a1d64c2da4b9e7.jpeg


CPU 也降下来了。

ae3e333632c5997a6e542d40fbc76a3b.jpeg


f5364f69c6fdb1f58c03c92cae95de29.jpeg


-End-

原创作者|毕鸣一

91cc6a37165207c36e97cc6b9f812160.png

Redis 有哪些常见问题?你有什么解决的经验?欢迎分享。我们将选取1则最有意义的评论,送出腾讯云开发者-马克杯1个(见下图)。10月7日中午12点开奖。

20e74206aca5772c7d7ccc44bd007569.png

📢📢欢迎加入腾讯云开发者社群,社群专享券、大咖交流圈、第一手活动通知、限量鹅厂周边等你来~

11ddcbbefe7ba0e17b73cbb8abf0b0e7.png

(长按图片立即扫码)


996f9289821f096be7a4902cfff33312.png

c7d7a97c899358d1ab05d49964bf9a57.png

e567849c23b17a1ffda490d0ee9d60e1.png

7ab3e197e8cfb9f037f5ea61040f76bf.png

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1169

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 715

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1127

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 910

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 624

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1171

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1218

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1197

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2637

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 875

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 701

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 892

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 761

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 711

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: 大模型时代,如何找准AI发展新方向?TVP读书会与你共探
下一篇: 大模型遇上数智化,腾讯云与行业专家共探行业AI发展之路
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值