故障处理--kuboard无法访问，etcd磁盘空间不足

问题现象：

kuboard页面报错

排查过程：

1、查看kuboard是否正常。
2、查看kuboard容器的日志：

docker logs -f  --tail=10  kuboard
大概内容如下：
level=error msg="failed to rotate keys: etcdserver: mvcc: database space exceeded"

表示etcd磁盘空间不足，etcd默认的空间配额限制为2G，超出空间配额限制就会影响服务，需要定期清理。
3、查看etcd的启动配置entrypoint.sh，发现没有设置etcd磁盘大小，默认为2G

处理过程：

1、查看kuboard信息，找到kuboard-data的位置

2、查看etcd-data大小。发现db大于2G
3、进入容器内部，查看告警信息。alarm:nospace，也表示空间不足

ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status

4、查看etcd告警

[root@master1 etcd-data]# docker exec -it kuboard /bin/sh
# ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" alarm list
memberID:6460912315094810421 alarm:NOSPACE

5、按照如下步骤临时处理

# 备份db
etcdctl snapshot save backup.db
# 查看当前版本
rev=$(ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9].*')
# 压缩旧版本
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 compact $rev
# 整理多余的空间
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 defrag
# 取消告警信息（之前有nospace的告警）
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 alarm disarm
# 再次查看etcd的状态（发现ERROR字段已为空）
ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status

整理多余的空间时有如下报错

错误原因
etcdctl 的默认命令超时为 5 秒，但碎片整理花费的时间比这更长。

解决方案
指定超时时间 --command-timeout

# 整理多余的空间
# ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 --command-timeout=30s defrag
Finished defragmenting etcd member[http://127.0.0.1:2379]
# 取消告警信息，不取消告警，ectd一样不可用
# ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 alarm disarm
memberID:6460912315094810421 alarm:NOSPACE 
# 再次查看ETCD存储使用情况
# ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status

注意，这里30s也不一定够用，根据具体情况可以继续扩大，我这里花了300s。

清理完成后，DB SIZE也不一定会这么低，我这里清理完成1.3g，但是可以使用了。

故障解决：

再次查看etcd-data文件大小

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43694134/article/details/144287108