GlusterFS脑裂案例-brick中的存储数据不一致

原创 已于 2022-03-08 14:56:38 修改 · 1.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器 #Glusterfs

于 2022-03-07 20:19:16 首次发布
某学校四主机GlusterFS集群在重启后，两个存储卷出现异常，不活动且不健康。通过检查命令发现一个卷已修复，另一个卷存在脑裂情况。解决方法是备份脑裂文件，从副本中删除，然后通过管理平台手动修复，最终恢复正常。问题可能由网络原因引起。

问题描述：

四主机集群，2副本的GlusterFS，某个学校年前将服务器关机，开学后将服务器开机，登录管理平台发现，两个glusterfs存储卷，均显示主机存储池不活动，且存储卷异常(不健康)（下图是修复好一个后截的图，仅示例）

处理步骤:

这个集群服务器上有两个glusterfs存储卷，首先检查其中一个glusterfs存储卷(hdd磁盘创建的卷)，通过下面的状态快速检查节点和存储卷状态，然后再尝试查看日志（本案例直接通过查询状态检查出了问题）

最低0.47元/天 解锁文章
glusterfs：副本卷的数据大小不一样
风一样的少年
12-03 1411
问题描述 volume的情况：两副本加一个仲裁盘。 偶然发现副本A所在的brick和副本B所在的brick的大小不一样，查看就是使用 du -sh查看的brick的目录。 问题分析 我们这边发现的原因是这样的： 比较大的brick的数据目录下的，.glusterfs目录下存在大量的没有目标文件的硬连接。 正常情况下，.glusterfs目录下的文件是硬连接文件，会指向一个文件： 有问题的文件，使用stat查看Links为1 问题解决 使用下面脚本可以检测是不是存在失去目标的硬连接 #!/bin/bas
分布式存储GlusterFS
Vick blog
05-06 995
分布式存储GlusterFS。
Glusterfs冗余镜像（AFR）修复原理以及脑裂分析
老叮当猫的专栏
01-12 4856
Glusterfs冗余镜像（AFR）修复原理以及脑裂分析 研究Glusterfs半年多了，通过实际操作以及源代码分析，对它有了越来越深的了解，由衷的赞叹Gluster的整体架构。今天时间不早了，想写点关于Glusterfs的冗余镜像产生脑裂的原因。 首先，简单描述一下脑裂，所谓脑裂，就是指两个或多个节点都“认为”自身是正常节点而互相“指责”对方，导致不能选取正确的节点进行接管或修复，导
GlusterFS数据不一致的产生与恢复
qq_15945247的博客
06-05 1583
GlusterFS
原来如此（glusterfs afr数据不一致问题定位）
TaLk工作室专栏 - Trace the linux kernel
08-07 2112
接上篇“又忙碌了一个月“，终于定位在本地文件系统xfs的预分配策略上，导致glusterfs afr配置下，文件的预分配块占用的磁盘空间不一致，但是通过进一步md5验证，数据是没问题的，为了进一步确认，在其他机器上再次验证了一下，至少centos6.4的xfs 在不同套本地文件系统下，在长时间写入大量文件后，对于大文件的磁盘块预分配是不同的，也就是我们会看到同样的副本，在不同的机器本地文件系统xf
关于gluster数据不同步的处理
09-18 4681
我们组的云平台后端使用分布式文件系统 采用的就是gluster，要说这个分布式文件系统确实比较智能
glusterfs: 处理脑裂
风一样的少年
11-30 2556
概述 脑裂的处理，可以分为手动和自动处理两种。对于数据和元数据的脑裂，两种方式都可以处理，但是对于目录脑裂最好需要我们手动接入。 查看哪些文件处于脑裂 # 查看集群中是否有脑裂的文件 gluster volume heal <volume> info summary # 列出处于脑裂状态的文件或者目录 gluster volume heal <volume> info split-brain 结果即会有GFID、也会有文件名。 如果结果有目录出现（也可能是GFID的形
glusterfs的那些事-1.2.31
08-03
在GlusterFS中，仲裁节点（arbiter）是一个特殊的角色，主要目的是防止分布式系统中的“脑裂”现象，即在多副本环境中，由于网络隔离或硬件故障导致的数据一致性问题。 脑裂是指在分布式系统中，由于网络分区或其他...
GlusterFS原理及如何配置使用
weixin_50344820的博客
01-04 811
文章目录一、GlusterFS概述1.1 GlusterFS简介1.2 特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议1.3 GlusterFS相关术语1.4 模块化堆栈式架构二、GlusterFS工作原理2.1 弹性hash算法2.2 GlusterFS工作流程三、GlusterFS的卷类型3.1 分布式卷3.2 条带卷3.3 复制卷3.4 分布式条带卷3.5 分布式复制卷四、部署GlusterFS卷4.1 实验环境4.2 实验过程4.3 不同类型的卷的建立4.3.1 分布式卷4.3.2
Linux GlusterFS搭建与扩容
tflw
02-14 1859
一、GlusterFS类型 项目上常用的有Replicate复制卷、Distributed-Replicate分布式复制卷，前者同一文件不同节点存储相同副本，后者GFS会将文件hash到某一组节点。Replicate搭建时最好3节点起，2节点可能会有脑裂产生。 二、GlusterFS安装 1、配置本地yum源 参考 2、安装GlusterFS yum install glusterfs yum i...
谈谈GlusterFs的脑裂
风一样的少年
11-06 2396
####什么是脑裂呢 类似github的文件冲突
glusterfs：浅谈脑裂
风一样的少年
11-29 1383
脑裂概述 脑裂是多个副本的数据不一致的现象。按照数据的类型，脑裂又分为如下几种： 数据脑裂，是指多个副本，同一个文件数据不一样，比如文件内容 元数据脑裂，是指多个副本，同一个文件的元数据不一样，比如权限、属主或者属组等 目录脑裂，分为两种情况。 （1）是指多个副本，同一个目录下，同一个文件的GFID不一样 （2）是指多个副本，同一个目录下，同一个名字，在某些副本中是文件，在另外一些副本中是目录 脑裂造成的主要原因 客户端网络异常。比如两副本R1、R2。 客户端C1暂时性的和R2失去连接，客户端C2暂时
GlusterFS文件占用空间大小显示不统一问题分析
weixin_33872566的博客
08-15 1338
# 这个是2014年写的老文章，当初也没分析完，仅供参考，如有问题欢迎反馈补充。测试环境说明：glusterfs 3.6 replica 2正常情况下，文件占用空间大小和文件系统的块大小密切相关。如xfs默认的块大小为4K，那么即便创建一个1字节的文件，也会占用4K空间。客户fuse挂载，创建小文件是以512字节进行计算，因此，在客户端创建100个小于512字节的小文件，就...
案例部署——GlusterFS分布式文件系统群集
大虾好吃吗
08-12 1143
本次将介绍一款无元服务器的分布式存储解决方案——GlusterFS。
GlusterFs教程（入门示例）
qq_27234433的博客
02-02 269
GlusterFs教程（入门示例） GlusterFS是可扩展的网络文件系统，适用于数据密集型任务，例如：云存储和媒体流。 GlusterFS是免费的开放源代码软件，可以利用常见的现成硬件。 GlusterFs详细入门教程参考：https://www.hellodemos.com/hello-glusterfs/glusterfs-demos.html ...
【Gluster 】 Gluster 存储系统脑裂问题分析
路过我的生活呀
09-15 611
在 Gluster 存储中，脑裂（Split-Brain）是一个重要的问题，指的是在分布式环境中由于网络分区或节点故障导致不同节点之间失去一致性，各自成为独立的数据源，可能导致数据不一致或冲突的情况。
GlusterFS预防脑裂机制
uj_mosquito的专栏
11-13 4153
脑裂简单来说就是两个jied
初探glusterfs-处理脑裂(split-brain)状态
weixin_34259232的博客
11-30 602
日期：2015/11/30 - 2015/11/30 time 14:18主机：e01, n33, n34目的：初探glusterfs-处理脑裂(split-brain)状态操作内容： 一、现象 1、ovirt在升级glusterfs的版本时，测试未停止ovirt和gluster服务，直接升级gluster软件包然后重启gluster服务，结果发现其中一个vm的数据盘出现异常...
Gluster部署案例
云时代-IT运维
05-14 345
一: Gluster Node配置 host配置 [root@GlusterFS03 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 ...
错误：软件包：glusterfs-fuse-3.7.1-16.el7.x86_64 (@anaconda) 需要：glusterfs-client-xlators = 3.7.1-16.el7 正在删除: glusterfs-client-xlators-3.7.1-16.el7.x86_64 (@anaconda) glusterfs-client-xlators = 3.7.1-16.el7 更新，由: glusterfs-client-xlators-3.7.1-16.0.1.el7.centos.x86_64 (iaas) glusterfs-client-xlators = 3.7.1-16.0.1.el7.centos 错误：软件包：glusterfs-fuse-3.7.1-16.el7.x86_64 (@anaconda) 需要：glusterfs = 3.7.1-16.el7 正在删除: glusterfs-3.7.1-16.el7.x86_64 (@anaconda) glusterfs = 3.7.1-16.el7 更新，由: glusterfs-3.7.1-16.0.1.el7.centos.x86_64 (iaas) glusterfs = 3.7.1-16.0.1.el7.centos 您可以尝试添加 --skip-broken 选项来解决该问题 您可以尝试执行：rpm -Va --nofiles --nodigest
最新发布
10-19
当遇到 `glusterfs-fuse-3.7.1-16.el7.x86_64` 因依赖 `glusterfs-client-xlators` 和 `glusterfs` 版本不匹配的更新错误时，可以尝试以下方法解决： #### 1. 清理缓存并重新安装 清理 `yum` 缓存，然后重新尝试安装： ```bash yum clean all yum makecache yum update glusterfs-fuse-3.7.1-16.el7.x86_64 ``` #### 2. 指定依赖版本安装 查看可用的 `glusterfs-client-xlators` 和 `glusterfs` 版本，然后指定与 `glusterfs-fuse-3.7.1-16.el7.x86_64` 兼容的版本进行安装： ```bash yum list glusterfs-client-xlators --showduplicates yum list glusterfs --showduplicates yum install glusterfs-fuse-3.7.1-16.el7.x86_64 glusterfs-client-xlators-<合适版本> glusterfs-<合适版本> ``` #### 3. 启用额外的软件源 有时候系统默认的软件源可能没有合适的依赖版本，可以尝试启用额外的软件源，如 EPEL 源： ```bash yum install epel-release yum update yum update glusterfs-fuse-3.7.1-16.el7.x86_64 ``` #### 4. 手动下载并安装依赖 从官方网站或其他可靠源手动下载与 `glusterfs-fuse-3.7.1-16.el7.x86_64` 兼容的 `glusterfs-client-xlators` 和 `glusterfs` 版本的 RPM 包，然后使用 `yum` 或 `rpm` 命令进行安装： ```bash wget <glusterfs-client-xlators RPM 包链接> wget <glusterfs RPM 包链接> yum localinstall glusterfs-client-xlators-<版本>.rpm glusterfs-<版本>.rpm yum update glusterfs-fuse-3.7.1-16.el7.x86_64 ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值