etcd资源超额

集群内apiserver一直重启，重启kubelet服务后查看日志发现一下报错：

Error from server: etcdserver: mvcc: database space exceeded

报错原因：

• etcd服务未设置自动压缩参数（auto-compact）

• etcd 默认不会自动 compact，需要设置启动参数，或者通过命令进行compact，如果变更频繁建议设置，否则会导致空间和内存的浪费以及错误。Etcd v3 的默认的 backend quota 2GB，如果不 compact，boltdb 文件大小超过这个限制后，就会报错：”Error: etcdserver: mvcc: database space exceeded”，导致数据无法写入。

处理过程：

1、查询是否为超额（DB SIZE超过2G会导致集群不可用）

ETCDCTL_API=3 etcdctl --write-out=table endpoint status

  查看告警

ETCDCTL_API=3 etcdctl alarm list

2、获取版本号（以下为基于主机部署的etcd，集群内etcd执行命令时需去掉--endpoints='*:2379'参数）

[root@etcd]# export ETCDCTL_API=3   #使用 api version 3
[root@etcd]# rev=$(etcdctl --cacert=/etc/kubernetes/ssl/ca.pem \
--cert=/etc/etcd/ssl/etcd.pem \ 
--key=/etc/etcd/ssl/etcd-key.pem \ 
--endpoints="https://127.0.0.1:2379" \
endpoint status --write-out="json" \ 
| egrep -o '"revision":[0-9]*' \ 
| egrep -o '[0-9].*') 

如部署时使用了http协议，不需要添加证书

3、整理碎片并解除告警

#整合压缩旧版本数据
[root@etcd]# etcdctl --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --endpoints="http://21.101.12.11:2379" compact $rev

#执行碎片整理
[root@etcd]# etcdctl --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --endpoints="http://21.101.12.11:2379" defrag 

#解除告警
[root@etcd]# etcdctl --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --endpoints="http://21.101.12.11:2379" alarm disarm

#查看告警
[root@etcd]# etcdctl --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --endpoints="http://21.101.12.11:2379" alarm list