详细解读keepalived高可用集群

最新推荐文章于 2025-04-11 15:41:34 发布

原创

最新推荐文章于 2025-04-11 15:41:34 发布 · 1.4k 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #云原生 #运维

一.高可用集群

1.1 集群类型

LB：Load Balance 负载均衡
LVS/HAProxy/nginx（http/upstream, stream/upstream）
HA：High Availability 高可用集群
数据库、Redis
SPoF: Single Point of Failure，解决单点故障
HPC：High Performance Computing 高性能集群

1.2 系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约） A = MTBF / (MTBF+MTTR）

1.3 系统故障

硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素软件故障：设计缺陷 bug

1.4 实现高可用

提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)

解决方案：建立冗余机制

active/passive 主/备

active/active 双主

active --> HEARTBEAT --> passive

active <--> HEARTBEAT <--> active

1.5.VRRP：Virtual Router Redundancy Protocol

概述：

虚拟路由冗余协议,解决静态网关单点风险

利用VRRP，一组路由器（同一个LAN中的接口）协同工作，但只有一个处于Master状态，处于该状态的路由器（的接口）承担实际的数据流量转发任务。在一个VRRP组内的多个路由器接口共用一个虚拟IP地址，该地址被作为局域网内所有主机的缺省网关地址。
VRRP决定哪个路由器是Master，Master路由器负责接收发送至用户网关的数据包并进行转发，以及响应PC对于其网关IP地址的ARP请求。
Backup路由器侦听Master路由器的状态，并在Master路由器发生故障时，接替其工作，从而保证业务流量的平滑切换。

物理层:路由器、三层交换机

软件层:keepalived

1.5.1 VRRP 相关术语

虚拟路由器：Virtual Router
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
VIP：Virtual IP
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：

master：主设备

backup：备用设备

priority：优先级

1.5.2 VRRP 相关技术

通告：心跳，优先级等；

周期性工作方式：抢占式，非抢占式

安全认证：

无认证
简单字符认证：预共享密钥
MD5

工作模式：

主/备：单虚拟路由器
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

二.Keepalived 部署

2.1 keepalived 简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务

官网：http://keepalived.org/

功能：

基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2 Keepalived 架构

官方文档：
https://keepalived.org/doc/ http://keepalived.org/documentation.html

http://keepalived.org/documentation.html

用户空间核心组件：
vrrp stack：VIP消息通告
checkers：监测real server
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

2.3 Keepalived 环境准备

实验环境

主机名	IP地址
KA1	172.25.254.10
KA2	172.25.254.20
webserver1	172.25.254.110
webserver2	172.25.254.120

各节点时间必须同步：ntp, chrony
关闭防火墙及SELinux
各节点之间可通过主机名互相通信：非必须
建议使用/etc/hosts文件实现：非必须
各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信：非必须

2.4 Keepalived 相关文件

软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：/etc/sysconfig/keepalived

2.5 Keepalived 安装

安装 keepalived

[root@ka1 ~]# yum install keepalived -y
[root@ka1 ~]# systemctl start keepalived
[root@ka2 ~]# yum install keepalived -y
[root@ka2 ~]# systemctl start keepalived

2.6 KeepAlived 配置说明

配置文件：/etc/keepalived/keepalived.conf

GLOBAL CONFIGURATION
Global definitions：定义邮件配置， route_id ， vrrp 配置，多播地址等
VRRP CONFIGURATION
VRRP instance(s)：定义每个vrrp虚拟路由器
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)： LVS集群的VS 和 RS

2.6.1 配置虚拟路由

配置master:

vim /etc/keepalived/keepalived.conf

global_defs {
   notification_email {
      2823279147@qq.com                #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
   }
   notification_email_from keepalived@ka1.exam.org      #发邮件的地址
   smtp_server 127.0.0.1                                #邮件服务器地址
   smtp_connect_timeout 30                              #邮件服务器连接timeout
   router_id ka1.exam.org                               #每个keepalived主机唯一标识，多节点 
                                                         重名不影响

   vrrp_skip_check_adv_addr                 #对所有通告报文都检查，会比较消耗性能  
                                            #启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查

   #vrrp_strict                            #严格遵循vrrp协议