自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(30)
  • 收藏
  • 关注

原创 分布式消息推送系统协议设计【C++ grpc kafka】

我们通过redis进行路由来判断一个room_id的消息应该发往哪些comet中的哪些链接,comet中维护了room_id—user_conn的集合。弹幕不走 WebSocket 上行,而是直接 HTTP POST 到 Logic,Logic 在 HTTP 处理函数中直接写 Kafka(不经过 gRPC。这里基于C++,grpc,kafka,mysql,redis实现一种分布式消息推送系统。topic(与单聊/聊天室共用),key = comet_id,3 个分区。

2026-04-22 22:50:19 531 6

原创 MySQL缓存策略

读:先读缓存,缓存存在直接返回;缓存不存在,访问mysql获取,有返回并同步到缓存,没有说明整个系统都没有这个数据以安全为主:先删缓存(整个hash 结构)为了让其他连接获取到变更后的值, 然后对MySQL DML操作,**MySQL数据变更同步到redis。**使用伪装从库的方式进行同步先写缓存并设置过期时间,再写MySQL,等待MySQL同步到redis中。过期时间选择:与MySQL网络传输的时间+MySQL处理时间+MySQL同步到redis的时间。但是带来一个安全问题。

2026-03-29 14:30:08 365

原创 MySQL事务原理分析

为了保证MySQL中事物的隔离性,多个事务共同操作一块资源时,可能MySQL串行地去执行这些事务。可重复读:启动事务时,生成新的read view,一直使用直到事务提交,或事务回滚。但是串行执行的效率较低,MySQL为了做到高性能,适当地破坏了逻辑上地一致性,一个事务两次读取同一个范围的结果不同,破坏完整约束一致性,当前读和快照读不一致。创建read view时,已启动但是未提交的事务id列表。创建read view时,已启动但未提交的最小事务id。幻读 :(读未提交,读已提交,可重复读)

2026-03-28 22:11:03 248

原创 MySQL索引原理与SQL优化

非叶子结点的16KB能够容纳更多的索引信息,树的结构更加矮胖,要查的数据就是辅助索引的信息,走辅助索引时就不需要回表,type返回值是 use index。的type不是ref,而是range,稍慢于ref,但是也踩索引(mysql 后续的优化)5.6版本后推出,减少回表次数,减少server层和存储引擎层的交互次数,提升查询效率。Elasticsearch的全文索引最常用,搜索引擎的实现,通过关键字反向索引文章。总之,索引信息和数据信息分层管理,便于高效地组织磁盘数据,快速实现单点和范围查询。

2026-03-27 18:27:24 403

原创 MySQL概念与基本使用

②查询缓存,kv存储,命中直接返回,否则继续执行(ver.5.7加入,ver.8.0后已经删除,很鸡肋)⑤执行器 根据执行计划,从存储引擎(InnoDB,可插拔,用于操作磁盘中的数据)获取数据,返回客户端。②在满足①的基础上,确保表中的每列都和主键完全依赖,而不能只与主键的某一部分依赖(组合索引);①cli发起请求建立tcp连接,serv接收连接,管理连接,校验用户信息。①列不可分,数据库的某一列表示的信息不可再分。③在②的基础上,主键直接相关,而非间接相关。可复用,减少语句书写,起到函数的作用。

2026-03-27 14:23:22 387

原创 redis的主从同步与对象模型

只有其中的任意一个进程试图修改一个共享的只读物理页面时(例如,修改一个全局变量或在堆上分配新内存),才会写保护中断触发,物理页复制,谁修改,谁指向新的,把只读状态修改为可读可写状态。fork一份子进程,只保存redis内存当前的状态,根据内存数据状态生成aof文件,避免同一个key的历史冗余。不调用fsync,数据也会到文件中,只不过不知道何时,通过LRU把page cache中的数据淘汰到file中。在rdb持久化期间,对redis的写操作记录到重写缓冲区,rdb持久化建立后,附加到aof文件末尾。

2026-03-26 23:44:29 410

原创 redis存储原理与数据模型

①其中这个迁移过程分摊在增删改查,每有一次请求,伴随指针++,迁移old到new中,直到迁移完毕,释放掉ht[0],ht[1]赋值给ht[0],ht[1]置为nil。redis以hashtable的形式存储数据,选用的hash函数siphash,能够在原key比较接近的情况下,生成差距较大的hash值,让元素分布更加均匀。步骤:将ht[0]中的元素重新经过hash函数生成64位整数,再对ht[1]长度取余,映射到ht[1]。根据数据的存储特性有数据结构切换功能,分治的方式,渐进的数据迁移。

2026-03-26 14:42:25 433

原创 Redis协议与异步方式

事务的前后,所有的数据都保持一个一致的状态,不能违反数据的一致性检测;,可不可以把lua脚本发送到reids-server,让其进行编译,redis返回给cli一个标识这个脚本的唯一ID,每次cli想执行这个操作,告诉server这个ID即可。即使事务队列中的某个命令在执行期间出现了错误,整个事务也会继续执行下去,直到将事务队列中的所有命令都执行完毕为止。事务:用户定义一系列数据库操作,这些操作视为一个完整的逻辑处理工作单元,要么全部执行,要么全部不执行,是不可分割的工作单元。各个事务之间互相影响的程度;

2026-03-25 17:03:18 469

原创 Redis相关命令与原理

生产者将定时任务hash到不同的redis实体中,为每一个redis实体分配一个dispatcher进程,用来定时获取redis中超时事件并发布到不同的消费者中;,或者服务器宕机了,会导致数据的直接丢失,但是其他进程可以直接在内存中访问redis进程中的数据,速度非常快。Redis是一种key-value数据库,通过key操作value,通过unordered_map散列表的形式组织起来的。,字符数组,该字符串是动态字符串raw,字符串长度小于1M时,加倍扩容;存储不需要有序,操作(交并差集的时候排序)?

2026-03-24 20:19:52 381

原创 无锁队列【C++】

原子操作解决了操作的原子性,一个原子操作中内部会含有多条代码,原子操作的原子性保证了,其他线程只能看到这个原子操作执行前后的状态,不能看到原子操作执行的过程。同时C++的原子操作可以指定内存序,保证了可见性和顺序型,可见性意味着变量是直接往主存进行读写,其他核心能及时拿到最新值,顺序性指定了CPU和编译器对代码优化的方向,比如release前的操作不能优化到release后,accquire后的操作不能优化到acquire前。②确保内存可见性(同步性,拿最新的数据,不经过缓存,直接读写到主存)

2026-03-22 21:53:56 466

原创 分布式锁实现【C++】

在linux中互斥锁,条件变量,信号量等各种机制基于futex实现,futex是快速用户空间互斥体,增加在用户态原子检查来决定是否陷入内核进行等待。等待队列:一种存放在全局散列表中的链表,以和互斥锁变量有关的key进行哈希,然后插在指定的槽位,以链表的形式进行连接。,主节点直接互相进行监控,每个主节点都有三个备份点,主节点宕机后由自己的从其从节点选出一个进行代替。③可用性:在合理的时间内得到合理的回复,比如原数据库宕机,数据库迁移的时间过长,可用性就很差。

2026-03-19 21:50:08 356

原创 定时器设计【C++】

IO多路复用将io转化为对事件的处理,IO函数因为不知道何时IO就绪所以需要阻塞,而select,poll,epoll让IO函数知道IO何时就绪。因为有head哨兵节点的存在,访问tree.begin()和tree.rbegin()都是O(1)的时间复杂度。定时器本质上也是一种对事件的处理,借助IO多路复用,实现检测事件,抛出事件的机制,删除节点:交换待删除节点A和最后一个节点B,让B下沉/上升,完成后删除A。创建定时器文件描述符。父节点在数组中下表为n,则其左子节点为2n+1,右子节点为2n+2。

2026-03-17 22:42:20 368

原创 用户态网络缓冲区设计【C++】

网卡会向CPU发起硬件中断,争夺CPU执行权,同时屏蔽网卡的硬件中断,避免频繁让CPU被打断。TCP分段,因此要粘包处理,UDP则不会分段而是IP分片,保证MTU<=1500(区别在于用户在调用recv时感知不到,UDP分片若是一个丢了,那么整个IP片重组就无法完成,TCP/UDP层的recv也感知不到IP层边界问题)。真正的处理被推迟到了一个更合适的时机。在网卡发送成功,触发硬件中断,TCP释放克隆的sk_buff,当收到对端传来的ACK应答,释放原始的sk_buff,UDP直接释放原始sk_buff。

2026-03-16 21:03:51 392

原创 原子操作与锁实现shared_ptr【C++】

获得内存序,在读取某原子对象时,当前线程的任何后面的读写操作都不允许重排到这个操作的前面去 ,并且其他线程在对同一个原子对象释放之前,所有的内存都在当前线程中可见。:释放内存序,在写入某原子对象时,当前线程的任何前面的读写操作都不允许重排到这个操作的后面去,并且当前线程的所有内存,写入在对同一个原子对象进行获取的其他线程可见,通常与。acquire是获取一个值在主存中最新的值,意味着acquire之后执行的所有操作,都必须依赖acquire于读取到的同步信号,所以后面的代码不能排到前面。

2026-03-15 00:05:43 382

原创 手写MySQL连接池【C++】

引用是一个变量的别名,不占用内存。区分普通引用(左值引用 T&)和右值引用 T&& 的关键&&不是对&引用,T&&和T&完全是两个独立的类型左值引用只能绑定到左值int x = 10;// OK, 左值引用绑定到左值 'x'// Error!左值引用不能绑定到右值 '10'右值引用只能绑定到右值// OK, 右值引用绑定到右值 '10'// Error!右值引用不能绑定到左值 'x'应用:完美转发。

2026-03-12 20:16:36 354

原创 手写内存池【C】

先在这里使用C语言实现一个轻量易用的内存池,先做一个定长的内存池,内存池它的核心概念就是:预先分配一大块内存,然后每当我们需要分配内存的时候我们就从这一大块内存中取,避免频繁调用malloc。

2026-03-09 17:05:17 400

原创 手写线程池【C++】

在实际的工作需求中,需要使用多线程,如果频繁的创建和销毁线程对资源的消耗是巨大的,使用线程池让多个线程处于就绪状态,可以避免这种资源浪费。IO密集:(线程等待时间+CPU运算时间)* CPU核心数 / CPU运算时间(保证现在在等待的时候能充分利用CPU的核心处理IO密集中的非等待任务)执行完毕后,继续尝试Pop,若任务队列空,则阻塞。析构线程池时,队列设置为nonblock,并唤醒所有线程,空任务队列会让线程弹出失败,退出while循环。生产者发布任务到线程池,消费者从任务队列中获取任务并执行。

2026-03-07 17:54:23 233

原创 eBPF监听recv()并转发【Linux C】

想象Linux内核是一座戒备森严的城堡│ Linux 系统 ││ │ 用户空间 (城堡外面) │ ││ │ │ 你的程序 │ │ 浏览器 │ │ 终端 │ │ ││ ↕ 系统调用 (城门) ││ │ 内核空间 (城堡内部) │ ││ │ │网络协议栈│ │文件系统 │ │进程调度 │ │ ││ │ │ ││ │ 🤖 eBPF程序 = 你派进城堡的"安全间谍机器人" │ │传统方式:想观察城堡内部?需要重建城堡(修改内核源码、重新编译)eBPF方式。

2026-02-01 22:12:21 854

原创 IOuring的异步写数据从内存到本地【Linux C】

io_uring 是 Linux 内核在 5.1 版本引入,5.6版本改进的一种全新的、异步 I/O 接口。中,在退栈前,我们需要检查提交后的数据是否都完成了。如果拿到数据了,就标记已完成。拿到一个sqe后就可以进行键值对的(异步IO)提交了。方式为:拿到新的数据后,将数据提交到队列中,待到队列满时再提交。最后保存的结果顺序可能与提交时的顺序有出入。,每次写入完成后返回末尾处的指针。保存以数组形式存储的键值对。如果我们想在该提交的数据返回。遍历数组,提交键值对到。使用包管理器快速安装。,那么可以传参过去。

2026-01-31 15:58:15 321

原创 数据结构-跳表【C】

对一个长度为n有序数组,使用遍历法插入、查找一个元素的时间复杂度都为O(n)。我们需要从数组的头部一个个地去比较键的大小。然后我们改进使用二分查找法。判断目标在数组的左半侧还是右半侧。然后更新head和right一格一格地去尝试逼近目标。二分查找是一种分而治之的思路,每次都将搜索范围缩小一半直到范围为1。其时间复杂度为O(logn)return mid;return -1二分查找解决了数组的查找问题,但是其插入和删除还是要移动前n/2或者后n/2的元素,其时间复杂度为O(n)。

2026-01-31 14:55:42 273

原创 数据结构-哈希表【C】

首先我们需要有一个数组,长度为max_slots,数组的每一个元素中是一个HashNode还要有一个哈希函数理想情况下(比如max_slots足够大),每一个data都有一个唯一不会冲突的hash值使用这个hash值作为下角标,那么查询时的时间复杂度为O(1)哈希表中已经存储了count个元素int count;char *key;free(isnt);printf("哈希表申请哈希数组失败\n");return -1;return 0;= NULL){

2026-01-29 14:15:18 612

原创 数据结构-红黑树【C】

红黑树,它首先是一个二叉平衡树。二叉树(一般就指二叉搜索树),它查询的时间复杂度为O(logn)。如果发生了节点一直插在节点的左叶子节点或者右叶子节点上时,那么它搜索的时间复杂就会退化为O(n)。因此我们需要动态地平衡树的左右支,那么就有了二叉平衡树这一概念。红黑树是二叉平衡树中最经典的一种实现方式红黑树中的节点可以分为实节点(data)和虚节点(nil)两种与二叉树不同的是,存储数据的节点都必须拥有叶子节点,若存储数据节点的叶子节点没有data则用nil进行填充①每个节点的是红的或者黑的。

2026-01-29 14:15:06 640

原创 实现KV存储【Linux C】

在协议层我们让KV存储读懂了用户通过网络层发送过来的指令,那么KV存储知道了要干什么后要怎么去实现对应的功能,这就是业务层。例如对于SET kv_name redis,这是新增,我们要操作key-value存储的数据结构的add,GET kv_name这是查询,我们要操作key-value存储的数据结构的check,MOD kv_name redis,这是修改,我们要操作key-value存储的数据结构的update。同时考虑到一个产品的后续迭代,我们应该怎样设计整个工程的结构方便我们后续升级?

2025-11-22 19:17:34 506

原创 网络编程异步IO【Linux C IOuring】

基于这样一种理念,IOuring的作者为linux内核新增了三个系统调用io_uring_setup,io_uring_enter,io_uring_register。在Posix API提供的一系列网络编程接口中比如,recv(),send(),他们的本质都是把实现了网络通信的协议栈中存储的数据,copy到了用户态提供的buffer,在这个过程中我们可以选择他是阻塞式读取还是非阻塞式读取。recv()和send()是同步的,因为用户在使用这两个结构和内核收发消息的时候是一种你等我,我等你的关系。

2025-11-22 17:11:17 762 1

原创 reactor的解析与实现【Linux C epoll】

,recv(fd…) 这些函数,关注的是fd对应的IO(或者连接)是否可读或者可写,这样很难做进一步的开发。所以我们需要epoll去代替我们关注什么时候这些IO可读可写,我们要做的就只是往里面传数据。reactor 是一种事件驱动的设计模式,通过一个 / 多个 “反应器”(Reactor)监听 IO 事件,触发对应的回调(callback),从而实现了IO 操作与业务逻辑的异步分离,大大提高开发效率。在mainloop中我们要做的就是让epoll不断地去检测是否有IO就绪,epoll就不在这里多说了。

2025-11-18 17:59:45 947

原创 Linux开发环境配置总结【Ubuntu22 VScode Mobaxterm】

最近在学习linux环境下的C/C++开发,因为是初学者,所以遇到了许多有关环境配置,而不是代码该怎么写的问题。趁网络编程学习阶段结束,在这里做一个总结,后续遇到问题也要添加和修改。

2025-11-14 11:31:07 898

原创 mysql对一张图片进行读、写操作【Linux C】

在Linux系统上要下载mariaDB来使用mysql。②根据传入的mysql句柄初始化statement(②根据传入的mysql句柄初始化statement(这个包,最终编译的时候还要说明加入对应的的头文件。⑤对于一个大文件,在execute前需要使用。绑定 stmt SQL语句 SQL语句长度。告诉客户端库 “准备接收分块的长二进制数据。绑定 stmt SQL语句 SQL语句长度。④判断是否写入成功并销毁fp。,一次读一Bytes,读。④判断是否读取成功并销毁。,一次写一Bytes,写。

2025-11-04 10:34:19 277

原创 基于UDP编程的DNS协议解析与实现【C】

是互联网的一项服务,用于域名和IP的映射。我们可以向DNS服务器发出请求,例如发送域名www.baidu.com,向本地DNS服务器(运营商提供)会返回这个域名对应的IP地址,同一个域名可能有多个,动态的IP地址。返回结果:第一项是DNS服务器的信息第二项是服务器根据域名返回IP地址在浏览器的地址栏键入这两个ip都可以访问到百度。

2025-11-04 10:34:07 435

原创 线程与线程池【C】

第二个参数是 const pthread_attr_t* 类型,用于设置线程的属性(如栈大小、优先级、分离状态等)。线程池的创建完成后就要执行任务 注意在线程池中,可能创建了线程但没有任务,所以创建完不是要去执行任务,而是要去检查是否有任务。②主线程和子线程共享进程的全局资源(如全局变量、堆内存、文件描述符等),但各自拥有独立的栈空间(局部变量不共享)第四个参数是第四个参数是 void* 类型,用于传递给线程入口函数 thread_callback 的参数。且main函数启动的线程为这些线程的父线程。

2025-11-03 20:46:01 660

原创 HTTP客户端请求【C】

HTTP,英文全称是一个基于TCP/IP协议的服务器和本地浏览器传输数据的协议。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。

2025-11-03 20:45:51 356

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除