Redis崩了，我成功把锅甩给了隔壁组

修改连接数上限毕竟治标不治本, 本来连接数上限就是10000, 微服务总共才几十个, 按理说根本用不完.

肯定有人没关连接, 查他.

已知:

Redis服务重启后, 用一段时间连接就又满了. 服务总共几十个, 配置的一万连接数正常情况下不大可能用完.

第一步 重启并抢先占一个连接

---

笔者重启了Redis后, 立即连接到Redis, 查看客户端数量(晚了就连不上了):

$ docker exec -it $(docker ps | grep redis | awk ‘{print $1}’) redis-cli -a {pwd}

127.0.0.1:6379> info…# Clientsconnected_clients:391…复制代码

tips:

info命令能查看关于 Redis 服务器的各种信息和统计数值.

第二步 记录全部客户端

---

几分钟后再次查看:

127.0.0.1:6379> info

…# Clientsconnected_clients:10002…复制代码

此时, 连接已经被全部占满了.

将全部客户端信息保存到文件准备抓出这个搞事情的老哥.

127.0.0.1:6379> client list

id=7863 addr=172.18.0.104:56836 fd=6150 name= age=72 idle=72 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=pingid=7864 addr=172.18.0.50:56262 fd=6151 name= age=72 idle=72 flags=N db=9 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=pingid=7865 addr=172.18.0.104:56840 fd=6152 name= age=72 idle=72 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping…

tips:

client list: 列出全部客户端信息.

第三步 找出异常IP

---

有了全部的客户端连接信息, 就能找出到底是谁的锅了. 使用命令输出连接数前五的IP:

$ cat client-list | awk ‘{print $2}’ | awk -F “[=:]” ‘{print $2}’ | sort | uniq -c | sort -k1,1nr | head -5

5432 172.18.0.504244 172.18.0.104 43 172.18.0.59 40 172.18.0.54 32 172.18.0.55

到目前为止, 锁定了172.18.0.50和172.18.0.104两个IP. 这两个都是docker内部网络的地址.

tips:

awk '{print $2}: 输出第二列, 即IP. addr=172.18.0.104:56836.

awk -F “[=:]” ‘{print $2}’: 通过等号和冒号拆分addr=172.18.0.104:56836, 并输出中间的IP.

sort: 排序.

uniq -c: 统计数量并在每列旁边显示该行重复出现的次数.

第四步 定位服务并把锅扔过去

---

拿到了IP就离目标不远了, 通过docker inspect能输出docker实例的信息, 其中就包括IP.

$ docker inspect --format=‘{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}’ $(docker ps -aq) | grep 172.18.0.50

/docker_xxxxx-service - 172.18.0.50$ docker inspect --format=‘{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}’ $(docker ps -aq) | grep 172.18.0.104/docker_yyyyy-service - 172.18.0.104

tips:

docker inspect: 获取容器/镜像的元数据. --format: 用模板格式化输出.