现有系统环境
- 操作系统:Rocky Linux release 9.5
- 内存:16G
- CPU:8核心
- SSD 存储
系统参数调优建议
内存管理
vm.swappiness
将vm.swappiness降低,以减少对 swap 的依赖。默认值是较高(通常 60),可以调成10或5,根据你的工作负载决定。较低值能使系统更倾向于使用内存,而不是 swap。
vm.swappiness=10
永久设置可以写入 /etc/sysctl.d/99-sysctl.conf 或者 /etc/sysctl.conf。
vm.dirty_ratio和vm.dirty_background_ratio
控制内核将多少脏页 (dirty pages) 写回磁盘。对于 SSD,可以适当调高,以减少频繁的写回,但也不能太高。
例如:
vm.dirty_background_ratio = 5
vm.dirty_ratio = 20
这两个值需要结合实际 I/O 压力测试。
-
关闭或限制 swap(视具体情况)
- 如果应用对内存需求很大、且对 swap 延迟敏感,可以考虑关闭 swap(
swapoff+从 fstab 移除 swap)。 - 或者使用 zram(压缩内存)来代替 swap。
- 如果应用对内存需求很大、且对 swap 延迟敏感,可以考虑关闭 swap(
文件句柄 & 进程数
fs.file-max
提高系统能打开的最大文件描述符数
fs.file-max = 2000000
这个值要根据并发连接数和负载调整。
- 用户级别的 file descriptors
修改/etc/security/limits.d/下的配置(例如99-nofile.conf),对于服务账号 (如应用进程) 提高nofile限制。
网络 / TCP 调优
net.core.somaxconn
增加监听 socket 的 backlog 队列长度。
net.core.somaxconn = 1024
net.ipv4.tcp_fin_timeout
调低 TIME_WAIT 状态持续时间(视场景慎用)
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse
允许重用处于 TIME_WAIT 的 TCP socket
net.ipv4.tcp_tw_reuse = 1
- 接收 / 发送缓冲区
可以适当调大rmem和wmem:
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
CPU 调度与频率
- CPU 调频策略 (governor)
根据负载选择合适的调频策略 (governor),例如performance(高性能) 或schedutil/ondemand。如果负载是较为稳定且追求响应性,可以设置为performance。
# 安装 cpupower(如果还没装)
dnf install kernel-tools
# 设置 governor
cpupower frequency-set --governor performance
-
CPU 亲和性 (Affinity)
对关键服务 (应用进程 /关键线程) 设置 CPU 亲和性 (affinity),使它们跑在专门的核心上,减少调度开销。 -
调度器调优 (Scheduler)
默认 Linux 调度器 (CFS)对大多数场景不错。如果有特殊实时或延迟敏感任务,可以深入调度器参数 (但风险较高)
I/O 子系统 (SSD) 优化
- I/O 调度器 (Scheduler)
对于 SSD (尤其是 NVMe),推荐使用noop或mq-deadline等轻量调度器或者直接使用none(如果硬件和内核版本支持)。其实在现代内核中,NVMe 的默认调度器就非常高效。
echo none > /sys/block/nvme0n1/queue/scheduler
(替换为实际使用的设备名)
-
队列深度 (nr_requests / queue_depth)
可以调优每个块设备的 I/O 队列深度 (取决于硬件)。 -
刷盘 (flush) 策略
根据你的 SSD 特性和写负载,可以调整dirty_*参数(见上文)以控制内核何时将缓存写回磁盘。 -
文件系统选择与挂载选项
- 如果使用 XFS / EXT4 /其他文件系统,挂载时选择适合 SSD 的 mount 参数 (如
noatime,nodiratime)。 - 可以考虑启用 discard / fstrim (手动或定时),但 discard 对性能的影响依设备而异。
- 如果使用 XFS / EXT4 /其他文件系统,挂载时选择适合 SSD 的 mount 参数 (如
日志 & 服务调优
-
关闭或禁用不必要的 systemd 服务
用systemd-analyze blame查看启动和运行时开销,禁用不必要的服务。 -
日志轮询 /日志级别
如果日志非常频繁 (例如大量rsyslog或journal),考虑减少日志写频率或级别。长期高频日志会对 SSD 写入造成压力。
整理参数
一定要先备份自己系统当前的参数在修改,万一有问题方便回退。
# /etc/sysctl.d/99-performance.conf
# === 内存管理 ===
vm.swappiness = 10
vm.dirty_ratio = 20
vm.dirty_background_ratio = 5
# 可能还加 dirty_expire / writeback,根据具体测试调优
# vm.dirty_expire_centisecs = 500
# vm.dirty_writeback_centisecs = 100
# 可选:如果你知道内存不是特别紧张,可设置 overcommit
# vm.overcommit_memory = 1
# === 文件句柄限制 ===
fs.file-max = 2000000
# === 网络 / TCP 参数 ===
net.core.somaxconn = 8192 # 监听 backlog
net.core.netdev_max_backlog = 50000
# 接收 / 发送缓冲
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
# TIME_WAIT 和连接重用
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
# Keepalive
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3
# 网络安全相关
kernel.sysrq = 0
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.all.accept_source_route =0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.tcp_syncookies = 1
kernel.dmesg_restrict = 1
net.ipv6.conf.all.accept_redirects = 0
net.ipv6.conf.default.accept_redirects = 0
kernel.threads-max = 655350
# === 其他网络 /系统选项 ===
# 可以根据需要打开更多,但这里是基础
应用这个配置
sysctl --system
参数说明
- 上面 sysctl 设置中,
vm.swappiness=10是为了让系统尽量少用 swap。 - Redis 的
maxmemory设置 (12 GB) 是示例,根据 Redis 实例所在机器上同时运行的其他进程 +操作系统需求来决定。如果 Redis 是主要服务,可以设置得更高,但建议不要占用所有内存。 allkeys-lru淘汰策略是业界常用策略,适合缓存 +热点数据混合类型场景。lazyfree-lazy-eviction等异步释放设置,可以减少 Redis 主线程因内存回收 (删除大对象) 的阻塞。- AOF 重写策略 (
auto-aof-rewrite-percentage和min-size) 设置,能平衡磁盘写入和文件大小。 hz参数 (心跳 /后台任务频率) 控制周期性后台任务 (如过期检查) 的频率。调高可以更快响应但会增加 CPU 开销。
注意事项
- 过度调优风险:如果参数设置不当(如非常低的
swappiness或非常高的dirty_ratio),可能导致系统内存压力过大或频繁写盘。 - SSD 写寿命:调高内存中的 “脏页” 写回策略会增加写量,需要权衡。
- 系统稳定性:部分调优 (如 CPU governor 改为 performance) 会增加功耗和温度,需要监控硬件状态。
- 版本兼容性:不同内核版本 (RHEL / Rocky) 对某些内核参数的默认值或支持可能不一样,调优前要确认。
- 监控覆盖盲点:调优后必须有监控和报警机制,以便及时发现调优带来的副作用。
Redis 应用参数调优建议
调优方案
- 集群模式:Redis Cluster
- 节点:6 节点 —— 3 主 + 3 从
- 每节点资源:16 GB 内存,8 核 CPU
- 业务特性:混合读写,读略多于写;有较大的缓存空间需求;容许偶尔 key 淘汰(cache 模式)
- 持久化需求:需要 AOF + RDB 混合以兼顾数据持久性和恢复速度
具体配置建议
下面是建议写入 redis.conf
| 配置 | 建议值 / 设置 | 说明与理由 | |
|---|---|---|---|
maxmemory | 大约 48 GB(64 GB 节点的 ~75%) | 留出一部分给操作系统 + fork 过程中的开销。 | |
maxmemory-policy | allkeys-lru | 选择 LRU 淘汰策略,以便在满内存时清除最少使用的 key。 | |
maxmemory-samples | 5 | 控制 LRU 近似采样的样本数,默认是 5,通常够用。 | |
lazyfree-lazy-eviction | yes | 使用后台异步释放内存(异步删除),减少主线程停顿。 | |
lazyfree-lazy-expire | yes | 异步过期 key 的内存释放。 | |
appendonly | yes | 启用 AOF。保证持久性。 | |
appendfsync | everysec | 每秒 fsync,一般来说在可靠性与性能之间是一个比较好的折中。 | |
auto-aof-rewrite-percentage | 100 | 当 AOF 大小增长到 100%(翻倍)时触发重写。这个值可根据实际 AOF 增长速度调整。 | |
auto-aof-rewrite-min-size | 64mb | 最小 AOF 重写大小限制(避免过小文件频繁重写) | |
aof-load-truncated | yes | 启动时如果 AOF 被截断,可以继续加载(更健壮)。 ([codingnote.cc][3]) | |
lua-time-limit | 5000(ms) | 限制 Lua 脚本最大执行时间,防止长脚本阻塞。 | |
| 集群相关 | |||
cluster-enabled | yes | 开启集群。 | |
cluster-config-file | nodes.conf(具体路径根据部署) | 保存集群节点配置。 | |
cluster-node-timeout | 15000(ms) | 节点互连超时阈值,较常用值。 | |
cluster-replica-validity-factor | 10(默认或视情况设) | 决定从节点是否有资格做 failover(与 node-timeout 和 ping 周期有关)。 | |
cluster-migration-barrier | 1 | 控制当主节点只有一个从节点时,从节点是否可以迁移到其他主上。 | |
cluster-require-full-coverage | no | 即使某些 slot 没覆盖,也允许读写,提升容错性。 | |
| 网络 & 性能 | |||
timeout | 3000(秒或 ms,根据版本) | 客户端连接超时设置(视具体版本配置) | |
tcp-keepalive | 60 | 保持空闲连接,避免连接过早关闭。 | |
| 慢日志 | slowlog-log-slower-than | 比如 10000(微秒或微秒级,视版本) | 记录慢命令,有助于调优。 |
slowlog-max-len | 128 | 保存慢日志条数上限。 | |
| 数据结构内存优化 | |||
hash-max-ziplist-entries / hash-max-ziplist-value | 512 / 64(示例) | 对小 hash 使用 ziplist 编码节省内存。类似配置常见于实践。 ([CNDBA][4]) | |
list-max-ziplist-entries / list-max-ziplist-value | 512 / 64 | 同上,对 list 优化。 | |
| 客户端 & 连接 | |||
| 使用连接池 | 是 | 建议客户端使用连接池(如 JedisPool、Lettuce 等),避免频繁建立连接。 | |
| 使用 Pipeline(批量命令) | 是 | 减少往返开销。 | |
| 命令建模 | |||
避免 KEYS * | 使用 SCAN | KEYS 是阻塞命令,在大数据量下严重影响性能。 | |
| 优化 Lua 脚本 | 简短、快速 | 防止脚本阻塞主线程,特别是在集群中。 |
Redis 配置整理
########################################
# Redis 性能 +集群 配置示例
# 这个配置文件只做参考 不能直接拿来用 Redis 是不允许再参数后买你添加注释的直接使用会报错
########################################
# 内存管理
maxmemory 12gb # 假设节点内存 16G,为 Redis 留约 12G
maxmemory-policy allkeys-lru # 使用 LRU 淘汰所有键(适合缓存 + 数据混合场景)
maxmemory-samples 5
# 延迟释放
lazyfree-lazy-eviction yes
lazyfree-lazy-expire yes
lazyfree-lazy-server-del yes
# 持久化 (RDB + AOF)
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
# RDB 快照 (可根据需要)
save 900 1
save 300 10
save 60 10000
# 集群配置 (如果是 Redis Cluster)
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-replica-validity-factor 10
cluster-migration-barrier 1
cluster-require-full-coverage no
# 性能 /调度相关
hz 10
dynamic-hz yes
# Lua 脚本执行限制
lua-time-limit 5000 # 毫秒
# 慢日志 (监控慢命令)
slowlog-log-slower-than 10000 # 微秒 (10 ms) — 根据业务调整
slowlog-max-len 128
# 内存碎片 / 编码优化
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
# 安全性 (可选,根据场景启用)
# requirepass yourpassword
# rename-command FLUSHALL ""
# 其他 (可选,根据需求)
notify-keyspace-events ""
注意事项
- fork 延迟风险:RDB 快照或 AOF 重写时会 fork,如果数据量很大,fork 可能占用大量内存 + 导致延迟波动。
- 内存碎片:频繁删除 / 写入大对象可能导致内存碎片化。要监控
used_memory_rssvsused_memory。 - AOF 重写失败:如果磁盘 I/O 不够快,重写可能失败或耗时过长。
- 误配置淘汰策略:如果设置不当(例如
noeviction),可能写入失败(OOM),或策略太激进导致重要数据被淘汰。 - 客户端不 cluster-aware:如果客户端不是集群感知 (cluster-aware),可能频繁
MOVED重定向,影响性能。 - 监控盲点:如果没有全面监控,可能看不出调优的负面影响(如重写延迟、failover 异常、内存碎片)。
Redis 备份
优先备份主节点
- 只对主节点 (master) 做快照 /持久化备份,因为副本 (replica) 节点上只是复制,备份主节点就可以恢复完整数据。
使用 RDB (快照) + AOF 组合
- RDB 用于周期性冷备 (point-in-time snapshot)。
- AOF 用于更高的数据持久性 (命令日志),减少数据丢失窗口。
- 混合使用可以兼顾恢复速度 (RDB) 和数据完整性 (AOF)
定期触发 BGREWRITEAOF 与 BGSAVE
- 对 AOF 做重写 (rewrite),防止日志无限增长。
- 对 RDB 做快照 (BGSAVE),用于冷备
备份文件长期保留与版本管理
- 将 RDB/AOF 备份文件复制 /归档到异地存储 (如 NAS、对象存储)。
- 为备份文件打时间戳 /版本,方便恢复时回滚。
校验与恢复演练
- 使用
redis-check-aof/redis-check-rdb工具校验备份文件健康性 - 定期做恢复演练 (集群恢复、单节点恢复) 以验证备份策略有效。
操作方法
获取主节点列表
获取所有主节点
/usr/local/redis/bin/redis-cli -h 192.168.1.11 -p 6379 -a ugwFsSNuzgS4e62e CLUSTER NODES|grep master | grep -v "fail" | awk '{print $2}' | cut -d@ -f1
这条命令会列出所有 master 节点的
备份所有主节点 RDB和AOF
注意:此脚本需要现在测试环境中测试没问题 再拿到生产环境中使用。
#!/bin/bash
REDIS_IP="192.168.1.11" # 任意一个集群节点(用于获取节点列表)
REDIS_PORT="6379"
REDIS_PWD="ugwFsSNuzgS4e62e"
BACKUP_DIR="/root/backup/"
TIMEOUT=300
mkdir -p "$BACKUP_DIR" || { echo "ERROR: 无法创建备份目录 $BACKUP_DIR"; exit 1; }
# 获取所有 master 节点
nodes=$(redis-cli -c -h "$REDIS_IP" -p "$REDIS_PORT" -a "$REDIS_PWD" CLUSTER NODES | \
grep master | grep -v fail | awk '{print $2}' | cut -d@ -f1)
for node in $nodes; do
ip=$(echo "$node" | cut -d: -f1)
port=$(echo "$node" | cut -d: -f2)
echo "=== 开始备份:Redis 节点 $ip:$port ==="
# 触发 BGSAVE (RDB)
redis-cli -h "$ip" -p "$port" -a "$REDIS_PWD" BGSAVE
if [ $? -ne 0 ]; then
echo "WARNING: BGSAVE 在 $ip:$port 执行失败"
fi
# 等待 BGSAVE 完成
start_time=$(date +%s)
while true; do
inprog=$(redis-cli -h "$ip" -p "$port" -a "$REDIS_PWD" INFO persistence | \
grep rdb_bgsave_in_progress | cut -d: -f2 | tr -d '\r')
if [ "$inprog" = "0" ]; then
echo "BGSAVE 完成:$ip:$port"
break
fi
now=$(date +%s)
elapsed=$(( now - start_time ))
if [ $elapsed -gt $TIMEOUT ]; then
echo "ERROR: BGSAVE 超时 ($elapsed 秒) 在 $ip:$port" >&2
break
fi
echo "等待 BGSAVE 完成 ($elapsed 秒) ..."
sleep 5
done
# 获取 RDB 文件路径
DIR=$(redis-cli -h "$ip" -p "$port" -a "$REDIS_PWD" CONFIG GET dir | awk 'NR==2')
DBFILE=$(redis-cli -h "$ip" -p "$port" -a "$REDIS_PWD" CONFIG GET dbfilename | awk 'NR==2')
src_rdb="${DIR}/${DBFILE}"
if [ ! -f "$src_rdb" ]; then
echo "ERROR: 未找到 RDB 文件: $src_rdb" >&2
else
dst_rdb="${BACKUP_DIR}/${ip}_${port}_$(date +%Y%m%d_%H%M%S).rdb"
cp "$src_rdb" "$dst_rdb" && echo "RDB 备份保存到 $dst_rdb"
fi
aof_enabled=$(redis-cli -h "$ip" -p "$port" -a "$REDIS_PWD" CONFIG GET appendonly | awk 'NR==2')
if [ "$aof_enabled" = "yes" ]; then
AOFDIR=$(redis-cli -h "$ip" -p "$port" -a "$REDIS_PWD" CONFIG GET appenddirname | awk 'NR==2')
AOFNAME=$(redis-cli -h "$ip" -p "$port" -a "$REDIS_PWD" CONFIG GET appendfilename | awk 'NR==2')
if [ -z "$AOFDIR" ]; then
src_aof="${DIR}/${AOFNAME}"
if [ -f "$src_aof" ]; then
dst_aof="${BACKUP_DIR}/${ip}_${port}_$(date +%Y%m%d_%H%M%S).aof"
cp "$src_aof" "$dst_aof" && echo "AOF 备份保存到 $dst_aof"
else
echo "ERROR: AOF 文件未找到: $src_aof" >&2
fi
else
# Multi-Part AOF 模式 (Redis 7+)
aof_dir_full="${DIR}/${AOFDIR}"
if [ -d "$aof_dir_full" ]; then
dst_mp_dir="${BACKUP_DIR}/${ip}_${port}_AOF_$(date +%Y%m%d_%H%M%S)"
mkdir -p "$dst_mp_dir"
cp "${aof_dir_full}"/* "$dst_mp_dir"/ && echo "MP-AOF 备份到 $dst_mp_dir"
else
echo "ERROR: AOF 目录不存在: $aof_dir_full" >&2
fi
fi
else
echo "AOF 未启用在 $ip:$port,跳过 AOF 备份"
fi
done
echo "=== 所有节点备份完成 ==="
Redis 集群恢复 (恢复 / 回滚) 操作命令
单节点恢复
- 停止要恢复的节点
# 或者停止对应的 Redis 服务 / systemd 单元
redis-cli -h <ip> -p <port> SHUTDOWN
- 将备份文件 (RDB / AOF) 放回该节点的数据目录
cp /backup/redis/cluster/<ip>_<port>_YYYYMMDD_HHMMSS.rdb /var/lib/redis/$port/dump.rdb
# 如果是 aof
cp /backup/redis/cluster/<ip>_<port>_YYYYMMDD_HHMMSS.aof /var/lib/redis/$port/appendonly.aof
- 设置正确权限
确保文件所有者和权限与 Redis 进程一致,比如:
chown redis:redis /var/lib/redis/$port/dump.rdb
chown redis:redis /var/lib/redis/$port/appendonly.aof
-
启动 Redis 节点
启动 Redis,查看日志确认是否加载了 RDB / AOF。- 如果优先加载 AOF:在 redis.conf 中
appendonly yes,那么 Redis 启动时会优先用 AOF 恢复 - 如果你先还原 RDB,再开 AOF,可以临时关闭 AOF,加载 RDB 后再打开
- 如果优先加载 AOF:在 redis.conf 中
具体命令 (如果是 systemd):
systemctl start redis
- (可选)触发 BGREWRITEAOF
redis-cli -h <ip> -p <port> BGREWRITEAOF
集群级恢复 /重新加入集群
恢复一个节点之后,如果这个节点之前属于集群 (有 slot),你需要让它重新加入 (如果它是孤立恢复):
- 与集群中的一个存活节点做
CLUSTER MEET
redis-cli -h <恢复节点 IP> -p <恢复节点 端口> CLUSTER MEET <任意健康节点 IP> <端口>
- 确认节点状态
在恢复节点上运行:
redis-cli -h <恢复节点 IP> -p <恢复端口> CLUSTER NODES
看它是否成为了集群的一员 (节点状态应该是 slave 或 master 等)。
-
如果恢复的是主节点,并且有 slot,需要重新分配 slot
- 如果是原来的 master,要把 slot 分回去 (如果 slot 被迁移了)。
- 使用
redis-cli --cluster reshard进行 slot 重分布 (reshard):将部分 slot 从其他节点迁移给该节点。
redis-cli --cluster reshard <一个集群节点 IP:端口> --from <其他节点列表,用逗号分隔> --to <恢复节点 id> --slots <slot 数量> --yes
注意事项
- 恢复时间:如果集群节点很多、数据量大,恢复 (尤其是 AOF 重写) 可能比较慢。
- 数据一致性:如果只是用 RDB 快照恢复,可能丢失最后一次快照后的写入。AOF 可以减少但也不能保证零丢失 (取决于
appendfsync策略)。 - 重写 (rewrite) 期间性能影响:AOF 重写是 fork 子进程,会占用内存和 CPU。
- 磁盘空间:备份 RDB + AOF 文件可能占用大量磁盘空间,备份存储要规划好。
- 安全:备份文件 (RDB / AOF) 本身也很敏感,应保证备份存储路径权限、安全传输 (如 SFTP、对象存储加密)。
1321

被折叠的 条评论
为什么被折叠?



