zabbix监控脑裂

最新推荐文章于 2024-09-09 15:18:49 发布
最新推荐文章于 2024-09-09 15:18:49 发布
阅读量113 收藏
点赞数
文章标签： zabbix 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_65079526/article/details/133850460
版权

zabbix监控脑裂

脑裂简介

​ 脑裂（Split Brain）是指在分布式系统中，由于网络故障或其他原因导致系统节点之间失去通信，导致节点之间无法协调工作，出现分裂的情况。这种情况下，系统无法保证一致性和可靠性，可能会导致数据冲突、数据丢失或系统崩溃等问题。
​ 脑裂问题通常发生在具有冗余节点的高可用系统中，例如集群、HA（高可用性）系统或分布式数据库系统。当节点之间失去联系时，每个节点可能会认为自己是唯一的正常节点，继续独立地执行任务，这就导致了数据不一致和冲突。

脑裂产生原因

  1. 网络故障：网络是分布式系统节点之间通信的基础，当网络出现故障时，节点之间无法正常通信，导致脑裂问题的发生。网络故障可能包括网络断开、网络延迟、网络拥塞等情况。
  2. 节点故障：分布式系统中的节点可能由于硬件故障、软件故障或其他原因而发生故障，导致节点无法正常工作或无法与其他节点通信。这也会导致脑裂问题的发生。
  3. 节点间消息丢失：在分布式系统中，节点之间通过消息传递进行通信和协调工作。如果由于网络故障或其他原因导致节点之间的消息丢失，就会导致节点无法及时获得其他节点的状态信息，从而产生脑裂问题。
  4. 配置错误：在配置分布式系统时，如果配置错误或不一致，可能会导致节点之间无法正常通信或无法达成共识，从而导致脑裂问题的发生。

脑裂解决方案

  1. 心跳机制：在节点之间建立心跳连接，定期发送心跳信号以检测节点的可用性。如果某个节点长时间未收到其他节点的心跳信号，就可以认为发生了脑裂，并采取相应的处理措施。
  2. 多数投票机制：在多节点系统中，通过多数投票的方式来决定哪个节点是正常节点。只有当大多数节点都认为某个节点是正常的，才能继续执行任务。这样可以避免脑裂问题的发生。
  3. 集群管理软件：使用专门的集群管理软件，如Keepalived、Pacemaker等，来监控和管理集群节点的状态。这些软件可以通过心跳检测、资源管理和故障恢复等机制，自动处理脑裂问题。

环境准备：

主机名ip地址环境说明
controller192.168.200.10zabbix_server
h2（备服务器）192.168.200.20keepalived，haproxy，zabbix_agent
h1（主服务器）192.168.200.40keepalived，haproxy

主备服务器的VIP为：192.168.200.250

zabbix部署

zabbix服务端的部署请参考：zabbix监控部署-优快云博客

zabbix客户端的部署请参考：zabbix监控配置流程-优快云博客

zabbix自定义监控请参考：zabbix自定义监控-优快云博客

zabbix监控keepalived

编写自定义监控脚本

[root@h2 ~]# vim /scripts/keep.sh
[root@h2 ~]# cat /scripts/keep.sh
#!/bin/bash

if [ `ip a show ens33 |grep 192.168.200.250|wc -l` -ne 0 ];then
    echo "0"
else
    echo "1"
fi
[root@h2 ~]# 
[root@h2 ~]# chmod +x /scripts/keep.sh 
[root@h2 ~]# 
[root@h2 ~]# ll /scripts/
total 8
-rwxr-xr-x. 1 root root 107 Oct 16 00:28 keep.sh
-rwxr-xr-x. 1 root root 440 Oct 15 20:29 notify.sh
[root@h2 ~]#

修改zabbix客户端配置文件，重启服务

[root@h2 ~]# vi /usr/local/etc/zabbix_agentd.conf 
...
### Option: UserParameter
#       User-defined parameter to monitor. There can be several user-defined parameters.
#       Format: UserParameter=<key>,<shell command>
#       See 'zabbix_agentd' directory for examples.
#
# Mandatory: no
# Default:
# UserParameter=
UserParameter=keepalived,/bin/bash /scripts/keep.sh
...
[root@h2 ~]# systemctl restart zabbix_agentd

先将主服务器上的haproxy服务停掉了，让备服务器把VIP抢过来以便后面测试用

[root@h2 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:18:11:8c brd ff:ff:ff:ff:ff:ff
    inet 192.168.200.20/24 brd 192.168.200.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.200.250/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe18:118c/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@h2 ~]#

在zabbix_server服务器上测试，有结果说明脚本可以正常使用

[root@controller ~]# zabbix_get -s 192.168.200.20 -k keepalived
0
[root@controller ~]#

访问zabbix网页

由于本人之前添加过主机，在原有的基础上修改一下就行，如果没有主机需要先添加主机再做后面的操作

image-20231016012403671

添加keepalived监控项

image-20231016012747296

监控项添加成功

image-20231016014620767

添加keepalived触发器

添加触发内容，选择报警等级

image-20231016013345157

自定义触发规则，当测试结果等于1时触发报警

image-20231016014031409

点击Add

image-20231016014100176

触发器添加成功

image-20231016014704775

测试

将主服务器上的haproxy服务开启，手动触发报警

[root@h1 ~]# systemctl start haproxy     
[root@h1 ~]# 
[root@h1 ~]# systemctl start keepalived    
[root@h1 ~]# 
[root@h1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:d7:d0:09 brd ff:ff:ff:ff:ff:ff
    inet 192.168.200.40/24 brd 192.168.200.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet 192.168.200.250/32 scope global ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::476a:4ab2:8e04:8416/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@h1 ~]#

当主服务器开启haproxy服务后，备服务器的VIP已经被主服务器抢了回去，报警就会触发

[root@h2 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:18:11:8c brd ff:ff:ff:ff:ff:ff
    inet 192.168.200.20/24 brd 192.168.200.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe18:118c/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@h2 ~]#

报警已触发

image-20231016015026829

keepalived中的脑裂
惨绿少年 | 欢迎访问CLSN博客站点 http://clsn.io
10-28 438
    在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的...
Zookeeper（36）Zookeeper的脑裂问题如何解决？
最新发布
qq_43012298的博客
02-07 1154
通过上述配置和代码示例，我们可以了解如何解决 Zookeeper 的脑裂问题，并确保在脑裂情况下仍能保证数据一致性和高可用性。合理配置 Zookeeper 集群、使用多数派机制和 Zab 协议、以及使用 Curator 客户端库实现分布式锁，都是有效的方法。通过这些措施，能够确保 Zookeeper 在面对脑裂问题时仍能提供高效、可靠的协调服务。编写自动化脚本进行监控和处理，也能够提高系统的可靠性和自动化程度。
ZABBIX监控脑裂
Albert_OS的博客
10-10 326
ZABBIX监控脑裂
zabbix监控脑裂和脑裂的产生和解决方法
B_memory的博客
06-22 441
环境说明 zabbix server 192.168.149.133 备keepalived zabbix anget 192.168.149.139 主 keepalived 192.168.149.152 在zabbix客户端配置keepalived备 [root@anget ~]# dnf -y install keepalived [root@anget ~]# vim /etc/keepalived/keepalived.conf ! Configuration File
LVS(DR)+Keepalive高可用+Zabbix监控脑裂
临江仙我亦是行人
07-01 773
1 LVS（DR） DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种: (1) 在前端网关做静态绑定 (2) 在各RS使用arptables (3) 在各RS修改内核参数，来限制arp响应和通告的级别 限制响应级别:arp_ignore 0:默认值，表示可使用本地任意接口上配置的任意地址进行响应 1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应 限制通告级别:arp_announce 0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告 1:
使用zabbix监控脑裂
的博客
06-22 224
脑裂 在高可用系统中，联系节点“心跳线”断开时，作为整体的高可用系统，分裂为2个独立个体，他们会相互争夺资源。针对无状态服务则还好，有状态服务（如mysql）的高可用，脑裂会损坏数据，则必须防止。 产生的原因 高可用服务器对之间心跳线链路发生故障，导致无法正常通信。 因心跳线坏了（包括断了，老化）。 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。 因心跳线间连接的设备故障（网卡及交换机）。 因仲裁的机器出问题（采用仲裁的方案）。 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。 高
zabbix监控高可用脑裂的部署
nuanchunhujian的博客
10-09 298
zabbix监控keepalived高可用脑裂的测试
keepalived脑裂使用zabbix进行监控
George的博客
10-09 403
监控脑裂配置邮件告警
分布式⼀致性算法Paxos、Raft、Zab、2CP以及脑裂问题
qq_26993175的博客
05-11 1381
一、什么是分布式系统 定义：分布式系统是支持分布式处理的软件系统，是由通信网络互联的多处理机体系结构上执行任务的系统。 简单来说：⼀个业务分拆多个⼦业务，落地成不同的服务，将各个服务部署在不同的容器上。各个服务之间通过某种协议通信交互。 而分布式系统的通信，会涉及到交流协作问题。也就会涉及到CAP问题。 1、CAP原理 CAP定理叫作布鲁尔定理，⼀个分布式系统最多只能同时满⾜⼀致性（Consistency）、可⽤性（Availability）和分区容错性（Partition tolerance）这三项中的两
zookeeper如何解决脑裂问题
u012534547的博客
09-09 1097
ZooKeeper 通过 Quorum 机制、Zab 协议、会话超时机制以及 Split-brain 防护来有效解决脑裂问题。它确保在发生网络分区时，集群中只有一部分（包含超过半数节点的那部分）能够继续处理请求，而其他分区则会停止服务，从而防止多个节点同时扮演 Leader 角色或同时处理写操作，保证了分布式系统中的一致性和可靠性。
脑裂及解决方法
m0_51312766的博客
03-18 3929
脑裂指一个集群由于网络的故障，被分为至少两个彼此无法通信的单独集群，此时如果两个集群都各自工作，则可能会产生严重的数据冲突和错误。 redis哨兵机制-脑裂： 主节点由于网络等原因，不能被哨兵感知，选举出新主节点，然后数据仍写入旧主节点，新主节点无法同步数据，旧主节点网络恢复后，被哨兵降级为从节点，从而造成数据丢失。 解决： min-slaves-to-write 1 // 要求至少有1个slave min-slaves-max-lag 10 // 数据复制和同步的...
出现脑裂的原因及解决方案
mqb195128的博客
08-23 1404
出现脑裂的原因及解决方案
脑裂问题与解决（keepalived脑裂的解决和预防）
热门推荐
王大雏的博客
08-18 1万+
脑裂问题与解决（keepalived脑裂的解决和预防）一、keepalived脑裂二、什么是裂脑？三、keepalived脑裂产生的原因四、常见的解决方案五、解决keepalived脑裂问题六、曾经碰到的一个keepalived脑裂的问题七、预防keepalived脑裂问题八、推荐自己写脚本 一、keepalived脑裂 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作
Zookeeper脑裂以及解决办法
多拉C梦
12-10 3799
脑裂 一般脑裂都是出现在集群环境中的。指的是一个集群环境中出现了多个master节点（类似zookeeper的master、elasticsearch的master节点），导致严重数据问题，数据不一致等等。 出现的原因：可能就是网络环境有问题如断开，假死等等，导致一部分slave节点会重新进入崩坏恢复模式，重新选举新的master节点，然后对外提供事务服务。 例如机房A和机房B通信，一个6个节点...
ZooKeeper的脑裂的出现和解决方案
kenan2012的博客
06-23 1万+
出现：       在搭建hadoop的HA集群环境后，由于两个namenode的状态不一，当active的namenode由于网络等原因出现假死状态，standby接收不到active的心跳，因此判断active的namenode宕机，但实际上active并没有死亡。此时standby的namenode就会切换成active的状态，保证服务能够正常使用。若原来的namenode复活，此时在整个集...
zabbix监控keeplived脑裂
06-12
在使用Zabbix监控keeplived脑裂时，可以按照以下步骤进行： 1. 首先需要在Zabbix中创建一个新的主机，用于监控keeplived。 2. 在该主机上安装Zabbix agent，并将其配置为监听keeplived的状态信息。 3. 创建一个新的Zabbix模板，用于定义监控keeplived脑裂的规则。 4. 在该模板中添加一个新的监控项，用于检测keeplived的状态信息。 5. 配置触发器，用于在检测到keeplived状态异常时触发警报。 6. 配置动作，用于在触发警报后发送通知给相关人员或执行自动化的修复操作。 需要注意的是，在监控keeplived脑裂时，需要特别关注keeplived的状态信息，包括VRRP和健康检查等方面。同时，在配置Zabbix监控项时，也需要根据实际情况进行调整，以确保监控的准确性和可靠性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这linux不学也罢

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值