面试官：有做过高可用的K8S集群部署方案吗？

一、涉及到的内容

• LVS
• HAProxy
• Harbor
• etcd
• Kubernetes (Master Worker)
• 最近经常有粉丝私信我，说博主没有整理出面试突击的资料。这次直接安排上，谁叫我有求必应呢！花了两星期的时间进行筛选和整理最终完成了这篇30天面试突击文稿，希望对大家有所帮助！ 整理内容较广，知识点比较全面，篇幅受限无法全部展现出来，文中所有资料都已整理成文件夹，先关注博主一波私信免费获取

二、整体拓补图

以上是最小生产可用的整体拓补图（相关节点根据需要进行增加，但不能减少）

按功能组划分

• SLBLVSHAProxy
• etcd
• K8S Node (Master / Worker)

三、SLB

LVS 、HAProxy 被规划为基础层，主要提供了一个高可用的7层负载均衡器。

由LVS keepalived 提供一个高可用的VIP（虚拟IP）。

这个VIP DR模式转发到后端的HAProxy服务器。

HAProxy反代了K8S Master服务器，提供了K8S Master API的高可用和负载均衡能力。

1. 可以使用Nginx代替HAProxy吗？

是可以的，这边使用HAproxy是因为k8s文档中出现了HAproxy，且后续可能会有4层反代的要求，从而使用了HAProxy。

2. 可以直接从LVS转发到Master吗？

理论上可行，我没有试验。

如果不缺两台机器推荐还是架设一层具有7层代理能力的服务。

k8s apiserver、harbor、etcd都是以HTTP的方式提供的api，如果有7层代理能力的服务后续会更容易维护和扩展。

3. 推荐配置

四、etcd

etcd是一个采用了raft算法的分布式键值存储系统。

这不是k8s专属的是一个独立的分布式系统，具体的介绍大家可以参考官网，这边不多做介绍。

我们采用了 static pod的方式部署了etcd集群。

1. 失败容忍度

最小可用节点数：(n/2)+1，下面是一个参考表格，其中加粗的是推荐的节点数量：

2. 推荐配置

括号内是官方推荐的配置

五、Kubernetes集群

kubernetes集群主要有两种类型的节点：Master和Worker。

• Master则是集群领导。
• Worker是工作者节点。

可以看出这边主要的工作在Master节点，Worker节点根据具体需求随意增减就好了。

Master节点的高可用拓补官方给出了两种方案。

1. Stacked etcd topology（堆叠etcd）
2. External etcd topology（外部etcd）

可以看出最主要的区别在于etcd的部署方式。

第一种方案是所有k8s Master节点都运行一个etcd在本机组成一个etcd集群。

第二种方案则是使用外部的etcd集群（额外搭建etcd集群）。

1. Master节点的组件

• apiserver
• controller-manager
• scheduler

一个master节点主要含有上面3个组件 ( 像cloud-controller-manager这边就不多做说明了，正常不会用到 )

• apiserver: 一个api服务器，所有外部与k8s集群的交互都需要经过它。（可水平扩展）
• controller-manager: 执行控制器逻辑（循环通过apiserver监控集群状态做出相应的处理）（一个master集群中只会有一个节点处于激活状态）
• scheduler: 将pod调度到具体的节点上（一个master集群中只会有一个节点处于激活状态）

可以看到除了apiserver外都只允许一个 实例处于激活状态（类HBase）运行于其它节点上的实例属于待命状态，只有当激活状态的实例不可用时才会尝试将自己设为激活状态。这边牵扯到了领导选举（zookeeper、consul等分布式集群系统也是需要领导选举）

2. Master高可用需要几个节点？失败容忍度是多少？

k8s依赖etcd所以不存在数据一致性的问题（把数据一致性压到了etcd上），所以k8s master不需要采取投票的机制来进行选举，而只需节点健康就可以成为leader。

所以这边master并不要求奇数，偶数也是可以的。

那么master高可用至少需要2个节点，失败容忍度是(n/0)+1，也就是只要有一个是健康的k8s master集群就属于可用状态。（这边需要注意的是master依赖etcd，如果etcd不可用那么master也将不可用）

3. 硬件配置

六、高可用验证

至此生产可用的k8s集群已“搭建完成”。为什么打引号？因为还没有进行测试和验证，下面给出我列出的验证清单

还有涉及的BGP相关的验证不在此次文章内容中，后续会为大家说明。

七、写在最后

还有一点需要注意的是物理机的可用性，如果这些虚拟机全部在一台物理机上那么还是存在“单点问题”。这边建议至少3台物理机以上。

为什么需要3台物理机以上？

主要是考虑到了etcd的问题，如果只有两台物理机部署了5个etcd节点，那么部署了3个etcd的那台物理机故障了，则不满足etcd失败容忍度而导致etcd集群宕机，从而导致k8s集群宕机。

针对于上面的面试题我总结出了互联网公司java程序员面试涉及到的绝大部分面试题及答案做成了文档和架构视频文档免费分享给大家（包括Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并发等架构技术资料），希望能帮助到您面试前的复习且找到一个好的工作，也节省大家在网上搜索资料的时间来学习，也可以关注我一下以后会有更多干货分享。