详解Redis内部运作机制

Redis详解(持续更新) redis 阅读详情

Redis数据库(Redis 如何表示一个数据库,数据库操作是如何实现的)

当Redis服务器初始化的时候会创建 redis.h/REDIS_DEFAULT_DBNUM(后面简写 N ) 个数据库,且数据库的id是从 0 到  N-1 , 所有的数据库保存到 redis.h/redisServer.db 数组中 。

在客户端可以通过 “SELECT” 命令进行切换,其中程序是直接用 redis.h/redisServer.db[number] 进行切换。 但是,一些内部程序,比如 AOF 程序、复制程序和 RDB 程序,需要知道当前数据库的号码, 如果没有 id 域的话,程序就只能在当前使用的数据库的指针,和 redisServer.db 数组中所 有数据库的指针进行对比,以此来弄清楚自己正在使用的是那个数据库。

Redis数据库的结构:
typeof  struct   redisDb{
int id ;   // 数据库的id

dict *dict ; // 保存着该数据库的所有键值对 也被称为键空间

dict *expires ; // 保存着键的过期时间

…..

} redisDb ;
 Redis 是一个键值对 字典表,同样Redis数据库存储形式也是键值对 字典表
 键是字符串
 值可以是字符型、list 列表、 hash、集合以及 有序集合其中之一
Redis 数据库增、删、改、查等操作的键空间操作:

新增:
Redis会在键空间字典中增加一个键-值对,其中键为一个字符串,值为任意一个值类型。
删除:
Redis会在键空间字典中删去对应键的键-值对
更新:
Redis会在键空间字典中释放之前对应键的值对象,并让键指向新的值对象
查询:
Redis会在键空间字典中查询对应键的值对象:
键不存在,返回NULL
键存在,且类型正确,返回正确的值
键存在,但类型不正确,返回类型错误
其他操作:
除了上面展示的键值操作之外,还有很多针对数据库本身的命令,也是通过对键空间进行处理 来完成的:
FLUSHDB              删除键空间中的所有键值对
RANDOMKEY        从键空间中随机返回一个键
DBSIZE                  返回键空间中键值对的数量
EXISTS                  检查给定键是否存在于键空间中
RENAME               在键空间中,对给定键进行改名

键的过期时间

在Redis数据库中,所有键的过期时间都保存在RedisDb结构体的expires字典中,其中键为一个指向dict 字典(键空间)里某个键的指针,值为改建的过期时间,用long long型表示。

Redis 有四个命令可以设置键的生存时间(可以存活多久)和过期时间(什么时候到期):
EXPIRE 以秒为单位设置键的生存时间;
PEXPIRE 以毫秒为单位设置键的生存时间;
EXPIREAT 以秒为单位,设置键的过期 UNIX 时间戳;
PEXPIREAT 以毫秒为单位,设置键的过期 UNIX 时间戳。

虽然有那么多种不同单位和不同形式的设置方式,但是 expires 字典的值只保存“以毫秒为单 位的过期 UNIX 时间戳” ,这就是说,通过进行转换,所有命令的效果最后都和 PEXPIREAT 命令的效果一样。

过期键的清除

定时清除:
在创建KEY的时候创建一个定时任务,在KEY到期时定时任务会被触发,第一时间清除过期KEY。
此种操作对内存最友好,不会有垃圾数据占用内存情况存在
缺点是会造成很大的服务器负载,特别是CPU负载高的时候,CPU很大一部分负载用在了删除不必要的KEY上了

惰性清除:
放任键空间的键不管,每次查询KEY的时候先去校验KEY是否过期,过期则删除,不过期则正常返回相应的VALUE。
此种操作对CPU最友好,这种策略仅限于当前KEY,相关不必要的KEY不会造成CPU负载
缺点是:容易造成内存空间浪费,特别是当系统中存在大量过期KEY且很少被用到,这十分影响非常依赖于内存大小Redis的性能

定期删除:
由定时脚本cron定时对expires的键扫描判断是否有过期的KEY存在,如存在,将其删除掉。
这是一种折中方案,既不会过多消耗CPU,又可以定时清楚惰性删除忽略到的不必要的内存消耗

Redis采用的“惰性清除”和“定期清楚”相结合的方式,其中定期删除模式是在规定的时间限制内,尽 可能地遍历各个数据库的 expires 字典,随机地检查一部分键的过期时间,并删除其中的过期键。

伪代码如下:

def activeExpireCycle():
# 遍历数据库(不一定能全部都遍历完,看时间是否足够)
for db in server.db:
# MAX_KEY_PER_DB 是一个 DB 最大能处理的 key 个数 # 它保证时间不会全部用在个别的 DB 上(避免饥饿) i=0                                    while (i < MAX_KEY_PER_DB):
# 数据库为空,跳出 while ,处理下个 DB if db.is_empty(): break
# 随机取出一个带 TTL 的键 
              key_with_ttl = db.expires.get_random_key()
# 检查键是否过期,如果是的话,将它删除 if is_expired(key_with_ttl):
            db.deleteExpiredKey(key_with_ttl)
# 当执行时间到达上限,函数就返回,不再继续 # 这确保删除操作不会占用太多的 CPU 时间
if reach_time_limit(): return
i += 1

Redis 过期键删除的主从同步问题(Redis的机制是由主节点统一控制)

如果服务器是主节点,当它删除一个过期键之后,会显式的向所有附属节点发送一条DEL命令
如果服务器是附属节点,当它判断到当前KEY已经过期,会将该键过期的消息发送给主服务器,主服务器删除后向所有的从服务器节点发送DEL命令。

从服务器节点不自主的对键进行删除是为了保持和主服务器数据的绝对一致性,即当一个过期键还存在主服务器上,这个键在所有的从服务器上也不会被删除。

Redis 事件机制详解 Redis 采用事件驱动机制来处理大量的网络IO。它并没有使用 libevent 或者 libev 这样的成熟开源方案,而是自己实现一个非常简洁的事件驱动库 ae_event。 Redis中的事件驱动库只关注网络IO,以及定时器。该事件库处理下面两类事件: 文件事件(file event):用于处理 Redis 服务器和客户端之间的网络IO。 时间事件(time eveat)... 阅读详情

相关推荐

redis内部同步方式

单线程事件循环模型:Redis 采用单线程处理请求,避免了多线程并发问题。通过 I/O 多路复用技术,支持高并发的请求处理。持久化机制(RDB/AOF):数据持久化操作是异步的,采用子进程方式将数据写入磁盘。主从复制:主节点与从节点的数据同步是异步的,采用非阻塞的方式,主节点继续提供服务。异步操作:持久化和复制等操作不会阻塞主线程,而是通过子进程异步执行。Redis 的单线程和异步操作设计使得它在高并发场景下非常高效,但也需要合理配置、管理资源,避免由于单线程的阻塞而影响整体性能。

longgelaile的博客 1617

超全面Redis详解

目录一、Redis 是什么二、Redis 的特点和功能三、Redis 缓存的使用四、Redis 为什么能这么快五、Redis 缓存的淘汰策略六、Redis 持久化1.为什么需要持久化2.Redis 的持久化策略的两种方式3.RDB的特点4.AOF的特点5.项目中如何选择这两种方式七、Redis 高可用部分的主从复制八、Redis 哨兵的基本原理九、Redis缓存雪崩、穿透、击穿概念及解决办法一、Redis 是什么 Redis 是Remote Dictionary Server(Redis) 的

zxljsbk的博客 2万+

定制PYNQ的overlay

一、用HLS生成一个定制IP(加速器)(1)首先打开vivado hls,本人的版本是2017.2,点击创建一个新工程。(2)设置工程名和路径,顶层函数设置为add,创建一个新的C++程序,名字叫做adder.cpp,不用在testbench中添加文件。选择板子的时候搜索xc7z020clg400-1,这是PYNQ的板子号,选择完成。             (3)在左侧的菜单栏里选择Sourc...

bramblewalls的博客 1万+

Redis详解

redis详解

kelouze06的博客 4800

逆变器专题(6)-正负序分离(二阶广义积分器DSOGI)

相应仿真原件请移步资源下载DSOGI作为一种常用的正负序分离方法,其可以在电压三相不平衡的状态下实现较为精准的锁相环。

cyc19980105的博客 8808

逆向拆解Android车机:VehicleHal如何通过HIDL与CarService通信?

本文深入剖析了Android Automotive OS中VehicleHal与CarService通过HIDL进行通信的底层机制。从逆向工程视角出发,详细介绍了如何捕获和分析HIDL调用日志,解析关键属性数据结构,并演示了利用SocketComm工具进行恶意属性注入攻击的实战路径,为车机系统安全评估提供了技术参考。

soda5的博客 723

Redis 详解

Redis redis 简介 redis 采用的是单线程的 KV 模型,由 C 语言编写, 1. Redis 中的事务? 2. Redis 中的数据结构 3. Redis 中如何保证缓存和数据库双写时的数据一致性? 4. 如何使用 Redis 做异步队列和延时队列? 5. Redis 中的过期策略 6. Redis 中的内存淘汰机制 7. Redis 中的缓存击穿,缓存穿透,缓存雪崩 8. Redis 中的分布式锁 9. Redis和memcache的区别 10. Redis 中的持久化机制 11. Red

weixin_45683550的博客 3万+

Lumerical-定向耦合器1

概述:本文章使用FDE求解器对定向耦合器进行了数值仿真,讨论了耦合器的间距相关性,耦合长度相关性,波长相关性。讨论了脊形波导和条形波导两种情况。

m0_61776728的博客 4620

Redis的内部运作机制——Redis详解

本文将分五个部分来分析和总结Redis的内部机制,分别是:Redis数据库、Redis客户端、Redis事件、Redis服务器的初始化步骤、Redis命令的执行过程。 首先介绍一下Redis服务器的状态结构。Redis使用一个类型为“redisServer”的数据结构来保存整个Redis服务器的状态(每个属性按照即将讲解的顺序进行排序): struct redisServer { int dbnum;//服务器的数据库数量,值由服务器配置的“databases”选项决定,默认为16 redisDb *db;

qq_43842093的博客 760

从零构建智慧农业监测终端:STM32数据采集与LoRa组网实战

本文详细介绍了如何从零构建智慧农业监测终端,涵盖STM32数据采集与LoRa组网实战。通过DHT22温湿度传感器和YL-69土壤湿度传感器实现精准环境监测,结合LoRa无线传输技术解决偏远农田信号问题。文章还分享了硬件选型、电路设计、低功耗优化及Flutter跨平台应用开发等关键技巧,助力农业智能化升级。

weixin_29172963的博客 357

【GlobalMapper精品教程】074:从Lidar点云创建3D地形模型

本文基于地形点云数据,基于泊松方法、贪婪三角形测量方法和阿尔法形状创建3d地形模型。

智慧空间实验室 2173

Redis-内部运作机制之浮于表面

前言:Redis内部运作情况分成五个部分 一、Redis服务端 1.redisServer Redis使用一个类型为“redisServer”的数据结构来保存整个Redis服务器的状态 struct redisServer { int dbnum;//服务器的数据库数量,值由服务器配置的“databases”选项决定,默认为16 redisDb *db;//...

weixin_39523456的博客 559

《用 R 探索医药数据科学》目录(持续更新,已超 250 万字)|订阅前说明

我们重磅推出《用 R 探索医药数据科学》专栏!本文作为专栏【订阅后首读】的核心内容,堪称开启学习之旅的 “入门钥匙”,也是整个专栏最关键的一篇指引文。文中不仅完整呈现了专栏 9 大核心篇章 + 问答板块的详细目录,更囊括了订阅后必知的核心要点 —— 从阅读设备、实操工具的使用建议,到学习路径、更新规则的清晰说明,再到问题反馈、感悟记录的实用方法,一站式帮你摸清专栏框架、找准学习方向。建议各位订阅者务必认真阅读、吃透内容,这能让你后续的学习更高效、少走弯!

MD Code 1万+

Redis 事务机制详解

Redis事务通过MULTI、EXEC命令实现多命令打包执行,包含三阶段流程:1) MULTI开启事务;2) 命令入队(QUEUED);3) EXEC执行并返回结果。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 8776

脉冲变压器电感选型参数,结构原理,工艺与注意问题总结

脉冲变压器电感简称脉冲变压器,是一种特殊类型的变压器,主要用于处理脉冲信号。它的主要特性是能够在短时间内承受高电压和大电流。脉冲变压器主要用于开关电源、脉冲功率放大、雷达脉冲调制等领域。本文对脉冲变压器的工作原理,结构特点,工艺流程,选型参数及设计注意事项进行总结。

fydar的博客 1350

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Redis的内部扩容机制

目录 1,概述 2,字典的扩容机制 2.1,普通状态下的字典: 2.2,解决哈希冲突 2.3,rehash 2.3.1,哈希表被扩展的条件: 2.3.2,rehash的操作步骤 2.3.3,渐近式rehash 1,概述 Redis是一个键值对(key-value pair)数据库服务器,Redis服务器结构是redis.h/redisServer结构表示,Redis服务器中的所...

3月3的风筝 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Redis内部数据结构Dict结构详解

dictRehash每次将重哈希至少向前推进n步(除非不到n步整个重哈希就结束了),每一步都将ht[0]上某一个bucket(即一个dictEntry链表)上的每一个dictEntry移动到ht[1]上,它在ht[1]上的新位置根据ht[1]的sizemask进行重新计算。根据以上对于重哈希过程的分析,我们容易看出,本文前面的dict结构图中所展示的正是rehashidx=2时的情况,前面两个bucket(ht[0].table[0]和ht[0].table[1])都已经迁移到ht[1]上去了。

通往IT大道的专栏 1375

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【Redis】Redis 的过期策略以及内存淘汰机制详解

hz 默认是 10。惰性删除不是去主动删除,而是在你要获取某个 key 的时候,Redis 会先去检测一下这个 key 是否已经过期,如果没有过期则返回给你,如果已经过期了,那么 Redis 会删除这个 key,不会返回给你。Slave 在读取过期键时,不会做判断删除操作,而是继续返回该键对应的值,只有当 Master 发送 DEL 通知,Slave 才会删除过期键,这是统一、中心化的键删除策略,保证主从服务器的数据一致性。Master 载入 RDB 时,文件中的未过期的键会被正常载入,过期键则会被忽略。

迪曼奥特迦-博客 1万+

昇腾310B+SD卡轻量化工业边缘智能体部署实践

边缘计算把AI推理从机房下沉到产线侧,是工业视觉实现低时延闭环的关键路径。原理上,依托NPU硬件解码、AIPP预处理与INT8量化,把目标检测流水线中的色域转换、缩放和归一化前移到推理硬件,CPU只做轻量后处理;配合工业级SD卡上的抗写文件系统与环形存储,控制写入量并保障掉电一致性。技术价值在于低功耗、低时延抖动、数据不出厂和无人值守自恢复。应用场景覆盖金属加工划痕、漏装、错位等缺陷检测,以及分散部署的边缘分析节点。围绕昇腾310B+SD卡的轻量化工业边缘智能体,从选型、模型转换到服务调度与现场运维形成可复

weixin_33868027的博客 281

Redis哨兵机制(Redis Sentinel)详解

在上文主从复制的基础上,如果注节点出现故障该怎么办呢?在 Redis 主从集群中,哨兵机制是实现主从库自动切换的关键机制,它有效地解决了主从复制模式下故障转移的问题。

埃泽漫笔 903

Redis 连接机制详解:从基础操作到高级应用

本文详细介绍了Redis连接机制,从基础连接到高级应用。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 5654

Redis对象机制详解

Redis 并没有直接使用传统的数据结构(如链表、哈希表等)来存储键值对,而是在这些数据结构之上封装了一层统一的抽象——。是 Redis 内部定义的一个核心数据结构,它使得 Redis 能够以统一的方式管理不同类型的数据,并实现类型检查、多态性以及内存管理等高级功能。理解的结构是理解 Redis 对象机制的关键。Redis 的对象机制是其高性能和灵活性的基石。通过引入这一统一的抽象层,Redis 巧妙地实现了数据类型的封装、动态编码切换、对象共享以及基于引用计数的内存管理。

weixin_56018532的博客 1415
上一篇: Linux下 无线网卡配置无线唤醒功能的方法
下一篇: 前端SEO—详细讲解
linuxprobe2017
博客等级 码龄10年 123粉丝 294原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值