Redis-kafka-MySql

最新推荐文章于 2024-05-20 18:46:23 发布

moveZQP

最新推荐文章于 2024-05-20 18:46:23 发布

阅读量398

点赞数

本文链接：https://blog.youkuaiyun.com/D206_hero/article/details/119490861

版权

AOF:将内存中的数据以快照的形式写入磁盘，实际过程中是fork一个子进程来写的，采用的是 copy on write机制
- 优点：恢复数据速度快，缺点：时点和时点之间的数据会丢
RDB:以文本日志的形式记录Redis处理的每一个写入、更新或者删除操作，可以设置成每秒落一次盘或者每次改动都落盘或者永不
- 优点：丢失数据少，缺点：相对于RDB比较慢，体量大
- rewrite优化：先RDB, RDB的同时，记录aof日志，然后再aof一把(可以通过设置aof文件大小、和相对于上一次优化后文件大小的比例来控制优化的频率)
当两个都开启的时候，当redis重启的时候，如果AOF文件和RDB文件都有的情况下，redis会优先加载aof文件(aof文件中由于rewrite优化，里面可能也会存储着RDB的数据)

主观宕机：一个哨兵认为master宕机了，只是主观宕机
客观宕机：大于等于投票数量的哨兵认为master宕机了，则是客观宕机
哨兵对节点的宕机投票实现：主要是通过redis的pub/sub系统实现的，每个哨兵都会往__sentinel__:hello这个channel里面发送消息，同时也会监听
3个任务：
- 每个哨兵节点每10秒会向主节点和从节点发送info命令获取最新拓扑结构图
- 每个哨兵节点每隔2秒会向redis数据节点的指定频道上发送该哨兵节点对于主节点的判断以及当前哨兵节点的信息
- 每隔1秒每个哨兵会向主节点、从节点及其余哨兵节点发送一次ping命令做一次心跳检测
选举主节点的时候需要参考的条件：
- slave和master断开连接的时长
- slave的优先级
- 复制offset：同步的数据的多少
- run id

生产者写入消息，Leader更新LEO
follower定时从leader中获取数据，获取完成后更新自己的LEO
follower同步速度是不一样的，有的快有的慢，以最小的LEO作为HW (HW的意义指Consumer可见数据的最大偏移量，重新选Leader的时候也会给所有人截取到HW)
所有follower都跟上了leader，leader会再次更新HW

在这里插入图片描述

参考：https://blog.youkuaiyun.com/u010002184/article/details/88526708
https://www.cnblogs.com/teach/p/14730608.html
binarylog是服务层的日志， undolog和binarylog是存储引擎层的东西