Redis学习

原创已于 2025-04-24 23:55:15 修改 · 852 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#redis

于 2025-04-24 23:42:24 首次发布

大数据学习专栏收录该内容

21 篇文章

订阅专栏

一、Redis为何成为现代架构的瑞士军刀？

Redis（Remote Dictionary Server）作为高性能键值数据库，每秒可处理百万级请求，支撑着全球Top 100网站中的86%系统。其核心价值体现在：

速度奇迹：内存操作+单线程模型，实现微妙级响应
数据结构多样性：5大基础类型+3种高级结构
持久化双保险：RDB快照与AOF日志的完美组合
分布式扩展性：Cluster模式支持TB级数据

二、Redis核心运行原理揭秘

2.1 线程模型：单线程为何能扛百万并发？

// Redis事件循环核心代码（简化版）
void aeMain(aeEventLoop *eventLoop) {
    eventLoop->stop = 0;
    while (!eventLoop->stop) {
        aeProcessEvents(eventLoop, AE_ALL_EVENTS);
    }
}

关键设计：

单线程处理命令避免锁竞争
I/O多路复用（epoll/kqueue）管理连接
后台线程处理持久化等阻塞操作

2.2 数据结构内存布局

数据类型	底层实现	时间复杂度	典型应用场景
String	SDS动态字符串	O(1)	缓存、计数器
Hash	ziplist/hashtable	O(1)	对象属性存储
List	quicklist	O(N)	消息队列
Set	intset/hashtable	O(1)	标签系统
ZSet	skiplist+hashtable	O(logN)	排行榜

2.3 持久化机制对比

RDB（快照）：

# 每900秒且至少1次修改触发
save 900 1  
# 使用LZF压缩
rdbcompression yes

AOF（追加日志）：

appendfsync everysec  # 平衡性能与安全
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

混合持久化（Redis 4.0+）：

aof-use-rdb-preamble yes  # 结合两者优势

三、生产环境经典问题与解决方案

3.1 缓存三剑客问题

问题类型	现象	解决方案
缓存雪崩	大量Key同时过期	随机过期时间+永不过期基础数据
缓存穿透	查询不存在数据	布隆过滤器+空值缓存
缓存击穿	热点Key突然失效	互斥锁+逻辑过期时间

布隆过滤器实现：

from redisbloom.client import Client

rb = Client()
rb.bfCreate('user_filter', 0.01, 1000000)
rb.bfAdd('user_filter', 'user1')

# 查询前先过滤
if rb.bfExists('user_filter', query_id):
    return redis.get(query_id)
else:
    return None

3.2 内存管理实战

内存淘汰策略：

maxmemory-policy volatile-lru  # 推荐生产环境配置

优化技巧：

使用Hash分桶存储（如用户10000的ID存储到user:100桶）
启用内存压缩（list-max-ziplist-entries 512）
监控内存碎片率（info memory中的mem_fragmentation_ratio）

3.3 集群常见故障处理

节点失效处理：

# 手动故障转移
redis-cli --cluster failover <host> <port> --force

数据迁移方案：

redis-cli --cluster import <target-host>:<target-port> --cluster-from <source-node-id>

四、Redis多场景应用实战

4.1 实时排行榜系统

// 使用Redisson实现分段排行榜
RScoredSortedSet<String> ranking = redisson.getScoredSortedSet("leaderboard");
ranking.add(100.5, "player1");
ranking.add(89.3, "player2");

// 获取TOP10
Collection<String> top10 = ranking.valueRangeReversed(0, 9);

优化点：

按时间维度分片（日榜/周榜/总榜）
使用HyperLogLog统计UV

4.2 分布式锁进阶实现

# RedLock算法实现
from redlock import RedLock

lock = RedLock("resource_name", 
    connection_details=[
        {'host': 'redis1', 'port': 6379},
        {'host': 'redis2', 'port': 6379},
        {'host': 'redis3', 'port': 6379}
    ])

if lock.acquire():
    try:
        # 业务逻辑
    finally:
        lock.release()

关键参数：

锁有效期自动续期
时钟漂移补偿机制
多数节点获取原则

4.3 实时消息系统

Stream实现消息队列：

> XADD orders * product_id 1001 user_id 200
> XREAD BLOCK 5000 STREAMS orders $

消费者组管理：

XGROUP CREATE orders group1 $ MKSTREAM
XREADGROUP GROUP group1 consumer1 COUNT 1 STREAMS orders >

五、性能调优黄金法则

连接池配置：

JedisPoolConfig config = new JedisPoolConfig();
config.setMaxTotal(100);  // 最大连接数
config.setMaxIdle(20);    // 最大空闲连接

Pipeline批量操作：

with redis.pipeline() as pipe:
    for i in range(1000):
        pipe.set(f'key:{i}', i)
    pipe.execute()

Lua脚本原子操作：

-- 限流脚本
local key = KEYS[1]
local limit = tonumber(ARGV[1])
local current = tonumber(redis.call('get', key) or 0)
if current + 1 > limit then
    return 0
else
    redis.call('INCR', key)
    redis.call('EXPIRE', key, 60)
    return 1
end