qq_39874171的博客

1.持久化相关 1) 问题：RDB文件损坏 解决办法：可以使用redis提供的redis-check-rdb来检测RDB文件并生成错误报告。 2) 问题：当子节点向主节点进行全量复制的时候，如果生成的RDB文件超过6GB的时候，传输文件这一步非常的耗时，速度取决于主从节点的网络带宽，通过细致分析日志，从打印FULL resync 和MASTER <->SLAVE这...

一、集群 1、数据分布 分布式数据库首先要解决的就是把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整体数据的一个子集。 数据分区规则： 1）哈希分区，节点取余分区，一致性哈希分区 ----->扩容和缩容容易造成问题，重新hash数据 2）redis采用虚拟槽分区，使用分散度良好的哈希函数把所有的数据映射到一个固定...

哨兵 redis-sentinel 如图结构的哨兵拓扑，故障转移的处理逻辑如下： 1）主节点出现故障，此时两个从节点与主节点失去连接，主从复制失败 2）每个sentinel节点通过定时监控发现主节点出现了故障 3）多个sentinel节点对主节点的故障达成一致，选举出一个sentinel节点作为领导者负责故障转移 4）sentinel领导者节点执行了故障转移。 ...

一、复制 1.建立复制 参与复制的redis实例划分为主节点和子节点，每个子节点只能有一个主节点，但是每个主节点可以有多个子节点。数据复制是单向的，都是从主节点复制到子节点。 配置复制的三种方式 1）在配置文件中，加入slave-of {masterHost} {masterPort} 随redis的启动生效 2）在redis-server启动命令加入--slave...

1.RDB持久化 RDB持久化是把当前进程数据生成快照保存到硬盘的过程。触发RDB持久化的过程分为手动和自动触动。 触发的命令 1）save命令：阻塞当前Reid服务器，直到RDB过程完成为止，对于内存比较大的实例来说是会造成很长时间的阻塞 运行save命令对应的redis日志如下： DB saved on disk. 2) bgsave命令：Redis进程执行...

1.redis慢查询 1）slowlog-log-slower-than 设定慢查询记录阙值，单位是微妙 2）slowlog-max-len 设定慢查询日志最多放多少条慢查询日志，比如=100，最多放100条，如果有新的就会覆盖最开始的一条 3）可以使用config set slowlog-log-slower-than来设定 ，并通过config rewrite写入到配置...

1.string 操作 1）内部编码 int 8个字节的长整型 embstr 小于等于39个字节的字符串 raw 大于39个字节的字符串 2）使用场景 缓存功能 计数 共享session 限速 2.hash操作 1）内部编码 ziplist(压缩列表) 当哈希类型元素个数小于hash-max-ziplist...

一、背景介绍 相信大家经常会遇到一些场景，比如批量插入大规模的数据到mysql，全量update一张大表，或者是delete一张大表。 比如说，有一次做一个需求，涉及到了一个业务，这个业务场景就是我需要从某个平台拉取一些数据，但是这个数据是需要从hive平台中拉取，然后hive平台的数据很巧的是，他是从2016年开始就存在的数据，数据量极其庞大。而且还是需要使用公司的同步平台去拉取数据。然后我...