redis源码分析——内存布局

RK3588开发板NPU加速YOLO目标检测完整实战教程 🚀 RK3588开发板NPU加速YOLO目标检测实战 本文详细介绍了如何在瑞芯微RK3588开发板上利用内置NPU加速YOLO目标检测的全流程: 1️⃣ 环境准备:配置RKNPU2 SDK和aarch64交叉编译器,搭建Ubuntu开发环境 2️⃣ 模型转换:从ONNX格式转换为专用RKNN模型,适配NPU硬件特性 3️⃣ 性能对比:NPU推理将处理时间从833ms降至50ms以下,帧率提升16倍 4️⃣ 实战应用:支持图像/视频流/摄像头实时检测,提供完整编译和运行命令 关键优势:专为边缘AI设计的6T 阅读详情

1. 介绍

众所周知,redis是一个开源、短小、高效的key-value存储系统,相对于memcached,redis能够支持更加丰富的数据结构,包括:

  1. 字符串(string)
  2. 哈希表(map)
  3. 列表(list)
  4. 集合(set)
  5. 有序集(zset)

主流的key-value存储系统,都是在系统内部维护一个hash表,因为对hash表的操作时间复杂度为O(1)。如果数据增加以后,导致冲突严重,时间复杂度增加,则可以对hash表进行rehash,以此来保证操作的常量时间复杂度。

那么,对于这样一个基于hash表的key-value存储系统,是如何提供这么丰富的数据结构的呢?这些数据结构在内存中如何存储呢?这篇文章将用大量的图片演示redis的内存布局和数据存储。

2. redisServer

在redis系统内部,有一个redisServer结构体的全局变量server,server保存了redis服务端所有的信息,包括当前进程的PID、服务器的端口号、数据库个数、统计信息等等。当然,它也包含了数据库信息,包括数据库的个数、以及一个redisDb数组。

struct redisServer {
    ……
    redisDb *db;
    int dbnum;                      /* Total number of configured DBs */
    ……
}

显然,dbnum就是redisDb数组的长度,每一个数据库,都对应于一个redisDb,在redis的客户端中,可以通过select N来选择使用哪一个数据库,各个数据库之间互相独立。例如:可以在不同的数据库中同时存在名为”redis”的key。

 

从上面的分析中可以看到,server是一个全局变量,它包含了若干个redisDb,每一个redisDb是一个keyspace,各个keyspace互相独立,互不干扰。

下面来看一下redisDb的定义:

/* Redis database representation. There are multiple databases identified
 * by integers from 0 (the default database) up to the max configured
 * database. The database number is the 'id' field in the structure. */
typedef struct redisDb {
    dict *dict;                 /* The keyspace for this DB */
    dict *expires;              /* Timeout of keys with a timeout set */
    dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP) */
    dict *ready_keys;           /* Blocked keys that received a PUSH */
    dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */
    struct evictionPoolEntry *eviction_pool;    /* Eviction pool of keys */
    int id;                     /* Database ID */
    long long avg_ttl;          /* Average TTL, just for stats */
} redisDb;

redis的每一个数据库是一个独立的keyspace,因此,我们理所当然的认为,redis的数据库是一个hash表。但是,从redisDb的定义来看,它并不是一个hash表,而是一个包含了很多hash表的结构。之所以这样做,是因为redis还需要提供除了set、get以外更加丰富的功能(例如:键的超时机制)。我们今天只关注最重要的数据结构:

typedef struct redisDb {
    dict *dict;                 /* The keyspace for this DB */
    ……
} redisDb;

redisDb与redisServer的关系如下所示:

 

下面再看dict的定义:

typedef struct dict {
    ……
    dictht ht[2];
    long rehashidx; /* rehashing not in progress if rehashidx == -1 */
    ……
} dict;

dict包含了两个hash表,这样做的目的是为了支持渐进式的rehash,即:在大多数情况下,只使用第一个hash表,如果第一个hash表的数据太多,则需要执行rehash。

dict与redisDb、redisServer的关系如下:

 

下面看一下dictht的定义,至此,我们总算见到了redis的hash表,与绝大多数的hash表没有什么两样:

/* This is our hash table structure. Every dictionary has two of this as we
* implement incremental rehashing, for the old to the new table. */
typedef struct dictht {
    dictEntry **table;
    unsigned long size;
    unsigned long sizemask;
    unsigned long used;
} dictht;

C/C++Linux服务器开发精彩内容包括:C/C++,Linux,Nginx,ZeroMQ,MySQL,Redis,MongoDB,ZK,流媒体,P2P,Linux内核,Docker,TCP/IP,协程,DPDK多个高级知识点。

学习视频资料点击:C/C++Linux服务器开发/Linux后台架构师-学习视频

C/C++Linux后台服务器开发技术交流qun:正在跳转

dictht与dict、redisDb、redisServer之间的关系如下:

 

redis对hash表的节点也进行了简单的封装,hash表的每一个节点都是一个dictEntry,redis的hash表看起来是这样:

 

总结: redis内存有一个全局变量redisServer server,该变量包含若干个数据库,每个数据库都用一个redisDb表示,redisDb包含若干个字典,其中,存储数据的是dict* dict,dict内部包含两个hash表,一般情况下面,我们只会使用ht[0],在rehash时,我们会同时使用两个hash表,hash表的每一项,都是一个dictEntry结构体的变量。

从宏观角度来看,redis的数据存储应该是这样的:

 

3. 存储不同的数据类型

在上一节中,详细介绍了redis的hash表以及核心数据结构之间的关系,至此,以及对redis存储数据有了一个初步的印象,但是,到目前为止还没有回答文章最开始的问题:redis如何存储不同的数据结构?

要理解redis如何存储不同的数据结构,首先来看一下redisObject的定义:

typedef struct redisObject {
    unsigned type:4;
    unsigned encoding:4;
    unsigned lru:REDIS_LRU_BITS; /* lru time (relative to server.lruclock) */
    int refcount;
    void *ptr;
} robj;

其中,type是逻辑数据类型,即redis提供给用户的字符串、列表、hash表等。type的取值如下:

/* Object types */
#define REDIS_STRING 0
#define REDIS_LIST 1
#define REDIS_SET 2
#define REDIS_ZSET 3
#define REDIS_HASH 4

type虽然很关键,但是,在我们这篇文章中,更多的需要关注encoding字段,该字段的含义是逻辑数据类型的具体实现。encoding的取值如下:

#define REDIS_ENCODING_RAW 0     /* Raw representation */
#define REDIS_ENCODING_INT 1     /* Encoded as integer */
#define REDIS_ENCODING_HT 2      /* Encoded as hash table */
#define REDIS_ENCODING_ZIPMAP 3  /* Encoded as zipmap */
#define REDIS_ENCODING_LINKEDLIST 4 /* Encoded as regular linked list */
#define REDIS_ENCODING_ZIPLIST 5 /* Encoded as ziplist */
#define REDIS_ENCODING_INTSET 6  /* Encoded as intset */
#define REDIS_ENCODING_SKIPLIST 7  /* Encoded as skiplist */
#define REDIS_ENCODING_EMBSTR 8  /* Embedded sds string encoding */
#define REDIS_ENCODING_QUICKLIST 9 /* Encoded as linked list of ziplists */

例如,对于list这种数据类型,在redis内部,可以使用ziplist实现(更加省内存),也可以使用linkedlist实现。

在满足以下两个条件时,使用ziplist实现,否则,使用linkedlist实现。

  1. 列表对象保存的所有字符串元素的长度都小于64字节
  2. 列表对象保存的元素数量小于512

再次强调:对于同一种数据类型,redis内部提供了多种实现,不同的实现适用于不同的场景,且用户只能通过redis.conf文件进行有限的控制,具体使用哪一种实现,完全是redis内部决定。可以通过object encoding key查看当前key的内部编码,即内部实现。

这篇文章介绍redis的内存布局,自然更应该关系的是内部的具体实现,而不是逻辑数据类型。不管是逻辑类型(type)还是具体实现(encoding),都保存在redisObject中,redisObject相当于是所有数据结构的父类,redis的hash表的每一个项都是dictEntry,而每一个dictEntry,都指向一个redisObject。

redis在数据的存取时,首先通过key找到对应的dictEntry,接着通过dictEntry获取redisObject对象,然后通过redisObject的encoding的取值,对redisObject的ptr指针进行强制类型转换。

例如: 对于一个简短的list,redis很有可能使用的是quicklist存储,因此,在读取list的数据时,redis首先通过key找到dictEntry,然后通过dictEntry找到redisObject, 通过redisObject的encoding对ptr指针进行强制类型转换,在本例中,将ptr强制转换为quicklist,转换为quicklist以后,就能够获取head和tail指针,可以使用head和tail访问数据。

 

 

RU DOS版、EFI版32bit/64bit BIOS常用工具 DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。 立即下载

相关推荐

Windows server Database 2025 安装 i225/i226 网卡驱动

Windows server Database 2025 安装 i225/i226 网卡驱动 windows这比坏得很,intel消费级网卡不准在服务器系统上安装。你要说他是异构不支持?他就纯粹恶心人。 之前已经安装过一次,但是今天database预览版一更新,又给我把网卡驱动杀了,气死,写一篇教程。 到这里就完成了,总之还是想辱骂windows,提供便捷的同时又人为制造困难,多少有点(隔壁linux内核直接自带全家桶了就一省心) 并且近年Intel的新U安装显卡驱动和普通声卡驱动都不会出声

低温热源的博客 1万+

redis篇-源码篇

一、字符串原理 1. 概述 redis字符串特点: redis字符串在内存中是字符数组 redis字符串不是以NULL结尾的,因为要获取以NULL结尾的字符串的长度是使用strlen标准库函数来计算的,该算法的时间复杂度是O(n),需要对字节数组遍历,单线程的redis承受不起 数据结构:redis的字符串为SDS,数据结构如下 struct SDS<T>{ T capacity; // 数组容量 T len;

qq_38360229的博客 2763

JDK8升级JDK17过程中遇到的那些坑

JDK8虽然非常好,但是JDK版本已经发布到JDK20了,且JDK8后的版本升级了很多新的特性,如模块化、ZGC以及虚拟线程、结构性并发等,也是非常有吸引力的,所以决定将基于JDK8的项目升级到最近的LTS版本JDK17。

BASK2312的博客 6686

redis 源码全解析

Redis 英文拼写:REmote DIctionary Server(Redis) Redis 是一个由Salvatore Sanfilippo 写的高性能key-value 存储系统。 远程,指的是有网络api接口,也就是提供6379端口tcp server给客户端使用。 字典服务,指的是数据类型为key:value类型,与mysql的关系型数据库有所区别。 特点:比较耗内存,速度比较快。 去除冗余信息,选择一个比较早期的源码进行分析,可以更清楚的看出一个源码的设计模型。 从main()取分析,redi

五宝茶四娃的博客 1万+

【软件介绍】RVC本地部署使用方法

【摘要】RVC是一款功能强大的开源语音转换工具,具有实时处理、多音效选择、高质量音频处理等特点。文章详细介绍了RVC的安装与使用方法:1)配置Python环境;2)根据电脑系统选择对应安装包解压;3)启动程序进入浏览器操作界面。重点讲解了声音克隆的关键步骤:建议使用短音频素材,选择合适训练方法(推荐pm或rmvpe),设置100次训练轮数,生成的模型文件存入weights文件夹。最后通过上传音频即可实现声音克隆。操作过程需注意保持程序运行状态,并提供了相关资源下载地址。

心动的那一刻,记忆便盛开了花 2989

PTPX功耗分析实战——从脚本配置到报告解读

本文详细介绍了PTPX功耗分析的全流程,从脚本配置到报告解读,帮助工程师快速掌握芯片设计中的功耗估算技术。文章涵盖了环境搭建、波形文件处理、功耗报告解析等关键环节,并提供了实战经验和优化建议,特别适合需要提升PTPX功耗分析效率的开发者。

weixin_29248313的博客 283

Redis核心原理解析-(源码)

Redis数据结构 1.Redis基本数据类型 redis基本数据类型有如下5种: 类型 底层数据结构 String 简单动态字符串 Hash 哈希表、压缩列表 List 双向链表、压缩列表 Sorted Set 跳表、压缩列表 Set 整数数组、哈希表 既然redis是key/value存储,那这里的类型肯定说的是value。 2.Redis健值结构 redis健值的存储结构是什么(注意和value区别)? 答:redis的k/v使用的是一张全局哈希表,每次根据ke

by_ron的专栏 3101

实战:从零构建第一个 HarnessAgent

本文介绍了如何从零构建第一个HarnessAgent项目。主要内容包括:1) 环境准备,要求JDK17+和Maven3.8+;2) 项目结构说明;3) 快速入门示例,包含工作区初始化、模型构建、Agent配置和对话演示;4) 多轮对话场景模拟。关键点在于通过sessionId实现对话状态保持,利用自动记忆沉淀和工作区持久化实现对话历史恢复。项目还展示了对话压缩配置,可在消息数达到阈值时自动压缩并保留关键事实,体现了HarnessAgent的核心能力。

公众号:AI前沿侦探 380

【Redis】Redis 底层的数据结构(结合源码)

Redis 底层数据结构详解

秋玄的博客 1432

无人船 | 基于ROS的轻量级多无人艇自主导航仿真框架

无人水面艇USV是海上自主无人系统的关键组成部分,在民用、军用领域应用广泛,例如海上救援、水质测量、扫雷反潜等,因此对USV导航算法的研究具有重要意义。为了便于进行USV相关算法的验证与部署,本文介绍的这套基于ROS的多无人艇的自主导航仿真平台,轻量化地实现了建图、规划、控制等多种功能,同时自研框架保证了功能的高度可拓展和可定制

FRIGIDWINTER的博客 8016

文末含资料链接和视频讲解!YOLOv8集成CoordAtt注意力机制详细教程

本文详细介绍了如何在YOLOv8目标检测框架中集成CoordAtt注意力机制。首先解析了CoordAtt的工作原理,它通过分解式池化将位置信息嵌入到通道注意力中,相比传统注意力机制具有更好的空间信息保持能力。然后提供了PyTorch实现代码解析,包括自适应平均池化、Hard-Swish激活函数等关键实现细节。最后概述了YOLOv8架构,为后续集成CoordAtt提供基础。该教程适合具备深度学习基础的开发者,将理论与实践结合,帮助读者掌握这一目标检测优化技术。

FJN110的博客 267

深入了解Redis(底层实现)源码 (第一篇)

Redis源码全景图 Deps目录: 第三方依赖库,那么为啥要引进第三方呢?因为Redis作为一个用C语言写的用户态程序,它的不少功能是依赖标准的glibc库提供的,比如内存分配、行读写、文件读写、子进程/线程创建等。但是,glibc库提供的某些功能实现,效率并不高。 我举个简单的例子,glibc 库中实现的内存分配器的性能就不是很高,它的内存碎片化情况也比较严重。因此为了避免对系统性能产生影响,Redis 使用了 jemalloc 库替换了 glibc 库的内存分配器。可是,jemalloc 库本身又

Welcome to My blog 5846

3D点云-CVPR 2020-PF-Net: Point Fractal Network for 3D Point Cloud Completion

是一种专门为三维点云补全设计的深度学习模型。点云补全实际上和图片补全是一个逻辑,都是采用GAN模型的思想来进行补全,在图片补全中,将部分像素点删除并且标记,然后卷积特征提取预测、判别器判别,来训练模型,生成的像素点与原来像素点比较完成模型的训练。而PF-Net就是采用GAN的思想在3D点云上的应用。

404 Not Found 2375

redis源码分析之内存布局

redis源码分析之内存布局 1. 介绍 众所周知,redis是一个开源、短小、高效的key-value存储系统,相对于memcached,redis能够支持更加丰富的数据结构,包括: 字符串(string) 哈希表(map) 列表(list) 集合(set) 有序集(zset) 主流的key-value存储系统,都是在系统内部维护一个hash表,因为对ha...

denmark2014的博客 115

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Redis String底层大揭秘:SDS如何成就高性能奇迹

Redis的String类型底层采用SDS(简单动态字符串)实现,性能远超C字符串(内存节省30%,QPS超百万次)。本文深度解析Redis String的三大编码方式(INT/EMBSTR/RAW)和SDS的五大核心结构,通过内存布局图和源码分析揭示其六大优势:O(1)长度获取、防缓冲区溢出、动态扩容、二进制安全、惰性空间释放和C字符串兼容。同时指出三大使用陷阱(大Key浪费、INT编码误用、EMBSTR边界),并给出"数字用INT、短字符串用EMBSTR、控制44字节临界点"的黄金法

全栈开发工程师 935

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

【Redis源码剖析】系列三:压缩列表ZipList与快速链表Quicklist的权衡艺术

在Redis的内存优化征程中,压缩列表(ZipList)和快速链表(Quicklist)代表了两种截然不同的设计哲学。通过丰富的内存布局分析、性能测试数据和实际应用案例,为开发者提供内存敏感型系统设计的重要启示。理解ZipList和Quicklist的设计思想,可以帮助我们在自己的项目中做出更明智的数据结构选择,在资源约束和性能要求之间找到最佳平衡点。:结合链表和ZipList的优点,在内存效率和操作性能之间找到最佳平衡点,适应各种规模和数据模式。:通过实际性能测试和内存分析来指导优化决策,而非主观臆断。

持续输出Java相关知识 665

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

redis:Redis跳表实现原理深度解析与工程实践

fill:#333;color:#333;color:#333;fill:none;是否插入元素随机生成层数是否扩展层高更新头节点层高逐层查找插入位置插入并维护前后指针更新跨度span。

weixin_43290370的博客 1156

redis 源码 ziplist.c 压缩list的实现

ziplist.c代码实现: #include #include #include #include #include #include "zmalloc.h" #include "util.h" #include "ziplist.h" #include "endianconv.h" #include "redisassert.h" #define ZIP_END 255 #d

lxlmycsdnfree的博客 439

编程相关文章

http://os.51cto.com/art/201412/458715.htm

coding12345的博客 344

redis源码分析六--压缩列表

文章目录1、压缩列表的特点2、压缩列表的内存布局 1、压缩列表的特点 压缩列表是一种为节约内存而开发的顺序型数据结构。 压缩列表被用作列表键和哈希键的底层实现之一。 压缩列表可以包含多个节点,每个节点可以保存一个字节数组或者整数值。 添加新节点到压缩列表, 或者从压缩列表中删除节点, 可能会引发连锁更新操作, 但这种操作出现的几率并不高 2、压缩列表的内存布局 上图就是压缩列表的布局情况 ...

曳凡的博客 341

Redis 源码分析-内部数据结构 SDS

C 语言里的字符串其实就是 char *,那 Redis 也是这样实现的吗?如果不是的话,Redis 为什么要单独设计数据结构来存储字符串呢?与原生的 C 语言字符串相比,Redis 中的 SDS 有哪些优势?怎么实现的?

qq_56517253的博客 1156

redis源码情景分析—内存结构和布局分析

概述 本文讲述redis的内存结构。通过本文,可以对redis保存数据的内存结构有一个清楚的理解,这对于理解的redis各种实现非常必要。理解软件数据结构的设计,也是深入理解任何软件的钥匙。 redis内存布局说明 redis初始化时会创建一个server结构体,在该结构体中保存了几乎所有redis要用到的数据结构。其中有一个redisDB的指针变量db,指向redisDB结构体的数组。 该数组的...

zg_hover的专栏 673

Java高级面试题

中高级JAVA工程师面试题汇总 文章目录 缓存 memcache的分布式原理 memcache的内存分配机制 如何存放数据到memcached缓存中?(memcache内存分配机制) memcache的惰性失效机制 memcache缓存的无底洞现象 一致性Hash算法的实现原理 Hash环 一致性Hash算法 Hash环的倾斜 虚拟节点解决Hash环倾斜 hash算法平衡性 memcached与redis的区别 Redis的主从复制...

wangzhipeng47的博客 327

Redis源码分析之SDS

Redis源码分析之SDS redis使用的sds源码,由另一个git库管理,独立于redis之外,可以独立看待:https://github.com/antirez/sds ,其好处,再其主页上说的很清楚了,本文是用来分析sds的内存结构,知道内存结构,也就能很好的理解sds的一些操作的原理。 sds被用来描述Redis中的“字符串”,也是redis中最为简单的数据结构之一。本文就来分析 sds...

Network, Linux Kernel 549

第15章—数据结构篇:深入ziplist之写入数据

本节课程中,我们重点讲解了 Redis 向 ziplist 结构中插入新元素的关键逻辑,主要分了 9 个核心步骤,其中涉及到了新 entry 长度的计算、插入点之后 entry 的 prevlen 的更新、整个 ziplist 的扩缩容以及连锁更新等操作。通过对这些步骤的分析你也能看出,向 ziplist 中插入数据的逻辑非常复杂,尤其是连锁更新这个操作,在极端条件下,会非常低效,这是由于 ziplist 结构本身所导致的,

运维老生常谈 1055

Redis源码分析之sds

1. SDS简介 Redis没有直接使用C语言传统的字符串而是自己创建了一种名为简单动态字符串SDS(simple dynamic string)的抽象类型,并将SDS用作Redis的默认字符串表示。 在Redis里面,C字符串只会作为字符串字面量(string literal)用在一些无须对字符串值进行修改的地方,比如打印日志。 当Redis需要的不仅仅是一个字符串字面量,而是一个字符串值时,R...

cool grass's blog 780
上一篇: 聊聊Mysql索引和redis跳表
下一篇: mark-手把手带你看redis,skynet网络模块实现
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值