关于gluster数据不同步的处理

最新推荐文章于 2023-01-13 09:55:40 发布
最新推荐文章于 2023-01-13 09:55:40 发布
阅读量4.6k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/love_rongrong/article/details/39368239
在使用gluster分布式文件系统时遇到brick存储离线导致数据不同步的问题，通过调整时间戳解决了两个disk文件不可同步导致的虚机无法启动问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我们组的云平台后端使用分布式文件系统

采用的就是gluster，要说这个分布式文件系统确实比较智能

平时重启gluster也不会导致数据丢失和影响服务

如果一个gluster的brick无法使用，还可以自动同步数据

不过总会有特殊情况发生

我们组运维的某云平台就出现了问题，gluster数据不同步

情况是这样的，该gluster有两个brick

其中有07、08这两台存储

08这台存储大概停了一两个月

gluster在这一点上还算健壮，一个存储挂掉了，还能正常使用

后来把08这台存储启动起来，然后数据就可以自动同步

但是问题又出现了，大部分数据都可以同步

只有两个disk文件无法同步，导致了两台虚机不可用

如果把08停掉，这两台虚机照样可用，启动08就不可用

这个可纠结了，虽然不可用虚机比较少，但也导致了无法启动两台存储

后来我发现07的disk比较大，08 的比较小

然后把08的disk删除，把07的disk复制到08的相同位置上

结果启动起来后还是不行

虚机还是不能够启动

后来我发现了问题所在，那就是时间戳

两个disk的时间戳相差太大，所以gluster内部认为文件不可用

据我观察，两台存储时间戳相差2分钟内还是可以用的

后来改了一下两个disk的时间戳，重启gluster

果然一切都正常了

==========================================================

下面再写一点其他的原理

gluster做到文件同步，也是因为每个文件都是有隐藏状态的

查看隐藏状态使用getfattr -m . -d -e hex 这样的命令

会看到状态如下：

file: disk
trusted.afr.eccp-instances-client-0=0x000000780000000000000000
trusted.afr.eccp-instances-client-1=0x000000000000000000000000
trusted.gfid=0xda22c205e6d147b299951f374f09a942

像我这个文件就出现了问题

client0的修改次数是0x78，而且没有同步到client1上

这里就说client0是明智的，以client0 的文件为主

正常的文件都会是0

如果出现两个文件都不是0的情况的话，要人工来做

大笨花猫
关注
GlusterFS数据不一致的产生与恢复
qq_15945247的博客
06-05 1456
GlusterFS
Gluster FS 部署复制卷与常用命令 常见问题解决
qq_37451391的博客
08-13 2830
Gluster FS 部署与运维 概述 Gluster FS 是一个开源分布式文件系统，具有强大的横向扩展能力，可支持数PB存储容量和数千客户端，通过Infiniband RDMA 或Tcp/Ip 方式将许多廉价的x86 主机，通过网络互联成一个并行的网络文件系统。具有可扩展性、高性能、高可用性等特点。 Gluster FS采用可堆叠的用户空间设计，如图所示： 什么是分布式文件系统 简单的说，分布式文件系统就是将固定于某个点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。
GlusterFS脑裂案例-brick中的存储数据不一致
EbowTang的练习场
03-07 1663
问题描述： 四节点主机，某个学校年前将服务器关机，开学后将服务器开机，登录管理平台发现，两个glusterfs存储卷，均显示主机存储池不活动，且存储卷异常(不健康)（下图是修复好一个后截的图，仅示例） 处理步骤: 这个集群服务器上有两个glusterfs存储卷，首先检查其中一个glusterfs存储卷，通过下面的状态快速检查节点和存储卷状态，然后再尝试查看日志（本案例直接通过查询状态检查出了问题）。 1，查看brick连接是否正常，是否脑裂 # gluster volume heal vo
原来如此（glusterfs afr数据不一致问题定位）
TaLk工作室专栏 - Trace the linux kernel
08-07 2068
接上篇“又忙碌了一个月“，终于定位在本地文件系统xfs的预分配策略上，导致glusterfs afr配置下，文件的预分配块占用的磁盘空间不一致，但是通过进一步md5验证，数据是没问题的，为了进一步确认，在其他机器上再次验证了一下，至少centos6.4的xfs 在不同套本地文件系统下，在长时间写入大量文件后，对于大文件的磁盘块预分配是不同的，也就是我们会看到同样的副本，在不同的机器本地文件系统xf
GlusterFS文件占用空间大小显示不统一问题分析
weixin_33872566的博客
08-15 1315
# 这个是2014年写的老文章，当初也没分析完，仅供参考，如有问题欢迎反馈补充。测试环境说明：glusterfs 3.6 replica 2正常情况下，文件占用空间大小和文件系统的块大小密切相关。如xfs默认的块大小为4K，那么即便创建一个1字节的文件，也会占用4K空间。客户fuse挂载，创建小文件是以512字节进行计算，因此，在客户端创建100个小于512字节的小文件，就...
glusterfs：副本卷的数据大小不一样
风一样的少年
12-03 1369
问题描述 volume的情况：两副本加一个仲裁盘。 偶然发现副本A所在的brick和副本B所在的brick的大小不一样，查看就是使用 du -sh查看的brick的目录。 问题分析 我们这边发现的原因是这样的： 比较大的brick的数据目录下的，.glusterfs目录下存在大量的没有目标文件的硬连接。 正常情况下，.glusterfs目录下的文件是硬连接文件，会指向一个文件： 有问题的文件，使用stat查看Links为1 问题解决 使用下面脚本可以检测是不是存在失去目标的硬连接 #!/bin/bas
gluster7.0-1安装包及操作.zip
11-30
4. **元数据管理**：GlusterFS使用分布式元数据管理，确保元数据在整个集群中的同步和一致性，从而保证文件系统的稳定运行。 5. **性能优化**：通过缓存策略和数据局部性优化，GlusterFS可以提高读写速度，尤其适合...
gluster文件系统结构
01-04
这意味着，当存储容量翻倍时，系统的其他部分（如计算、网络和元数据处理）不需要同等比例地增长，这导致了系统整体性能的瓶颈。而GlusterFS采用的是线性扩展模型，确保所有组件都能随着存储需求的增长而同步扩展，...
Linux数据同步：scp命令局限性及3个备选方案
在当今的IT领域，数据同步是一项不可或缺的技能，它确保了数据在不同系统、服务器或网络节点之间的一致性。Linux环境下，数据同步可以借助多种工具和命令来实现，比如SCP和RSYNC等。这些工具使用不同的机制和协议来...
利用GlusterFS实现多节点间数据同步与复制
GlusterFS是一个开源的分布式文件系统，旨在实现在多个节点之间的数据同步与复制。它通过将存储服务器连接起来，形成一个统一的高可用性和高性能的存储池，从而为用户提供高度可扩展的存储解决方案。 ## 数据同步与...
部署glusterfs及Heketi
Nick学习PHP的点点滴滴
07-15 766
部署GlusterFS集群 由gfs01.lampnick.com,gfs02.lampnick.com,gfs03.lampnick.com三个节点组成GlusterFS存储集群，并将gfs01.lampnick.com节点部署为heketi服务器。在各节点上，均使用sda用于为GlusterFS提供存储空间 分别在三个节点上安装glusterfs-server程序包，并启动glusterfs...
glusterfs存储卷分布卷、复制卷测试
weixin_60092693的博客
04-05 529
分布式卷 创建分布卷默认模式 类似raid0，hash写入单个文件，节点上是单个文件 [root@node1 ~]# gluster volume create test1 node1:/brick/test1 volume create: test1: success: please start the volume to access data [root@node1 ~]# gluster volume info test1 Bricks: Brick1: node1:/brick/test1 [ro
安装GlusterFS实现文件同步
tryyourbest0928的博客
09-29 691
在192.168.10.11上执行 安装GlusterFS实现文件同步 # vim /etc/hosts 192.168.10.10 geoserver02 #安装glusterfs yum install centos-release-gluster yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma #启动gluster服务 systemctl start glusterd.service systemctl
glusterfs分布式文件系统用作文件同步安装配置
wolf
07-17 1007
1.Glusterfs简介    GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生，可能大
GlusterFS分布式文件系统 同步时间
mingqing的博客
11-19 2356
文章目录GlusterFS分布式文件系统准备机器同步时间重要安装glusterfs服务（所有主机）*glusgerfs卷的类型**分布巻启动volume卷的扩容和缩容收缩卷卷的扩容卷的重新均衡复制卷创建复制卷 GlusterFS分布式文件系统 GlusterFS简介 开源分布式文件系统 PB级容量 高可用性 读/写性能 基于文件系统级别共享 ​ GlusterFS（GNU ClusterFile System）是一种全对称的开源分布式文件系统，所谓全对称是指GlusterFS采用弹性哈希算法，没有中心节
Glusterfs篇之实现glusterfs server与client端的关联
小橙子的笔记屋
09-13 1886
一、前言 当我们使用Glusterfs作为服务器中的数据文件共享时，当搭建好了glusterfs server端后，这时需要进行gfs server与client的关联，然后通过数据挂载 实现服务器中数据文件的资源共享。 这个是需要在Glusterfs server以及client上做相关的配置。 二、实现配置关联步骤 1、实现配置关联的前提：server端与client端机器要保持相互通信，即就是可以互相ping通。 要实现机器之间可以互通，可参考我的该篇文章： https://blog.youkuaiyun.com
GFS分布式文件系统
u014042047的博客
09-14 395
文章目录一、GlusterFS概述1.1 GlusterFS简介1.2 GlusterFS特点1.3 GlusterFS术语1.4 模块化堆栈式架构二、GlusterFS工作原理三、GlusterFS的卷类型3.1 分布式卷3.2 条带卷3.3 复制卷3.4 分布式条带卷3.5 分布式复制卷3.6 访问控制四、Gluster群集部署 一、GlusterFS概述 1.1 GlusterFS简介 开源的分布式文件系统 由存储服务器、客户端以及NFS/Samba存储网关组成 无元数据服务器 开源的分布式文件系统
GlusterFS—新手陷阱
SRE成长记
01-13 1300
总结新手学习GlusterFS遇到的坑
GlusterFS维护总结
dream-wing的专栏
10-07 6402
【场景1】某个GlusterFS节点的操作系统Down，需要重装系统和GlusterFS的场景。 解决办法如下： （1）先别启动GlusterFS服务 重新安装GlusterFS后，设置好对应的Brick目录和挂载完对应的存储，暂时别启动GlusterFS服务。 （2）获取该节点UUID信息 通过观察集群的其他节点保存的节点UUID信息，得到损坏节点的UUID信息。 ls命令查看一个完
如何把一个机器上的glusterfs包装到另一台机器上
最新发布
07-25
<think>我们正在处理用户关于GlusterFS迁移的问题。用户希望将GlusterFS配置从一台机器迁移到另一台机器。根据引用[1]和引用[2]，我们知道GlusterFS存储的数据文件是原样存储的，这有利于迁移。同时，引用[2]提到了重新平衡卷以修复布局变化，这可能与迁移后的数据平衡有关。 迁移GlusterFS配置实际上包括两个主要部分： 1. 迁移GlusterFS的配置（卷定义、拓扑等） 2. 迁移实际的数据文件 但是，用户的问题中只提到了“配置迁移”，所以我们重点放在配置迁移上。然而，配置迁移通常需要伴随数据迁移（因为配置定义了数据如何分布）。因此，我们将整个迁移过程分为几个步骤。 注意：我们假设源机器和目标机器都是GlusterFS集群中的节点，或者至少目标机器已经安装了相同版本的GlusterFS。 步骤概述： 1. 准备工作：确保目标机器满足要求（相同的操作系统、相同的GlusterFS版本、网络互通等）。 2. 安装GlusterFS：在目标机器上安装与源机器相同版本的GlusterFS。 3. 迁移卷配置：导出源节点的卷配置，然后在目标节点上导入。 4. 迁移数据：将数据文件从源节点复制到目标节点（如果目标节点是替换源节点，则需要复制数据；如果是新增节点则不需要）。 5. 替换节点（如果需要）：如果目标节点是用于替换源节点，则需要将源节点从集群中移除，并加入目标节点，然后进行数据重新平衡。 6. 重新平衡卷：根据引用[2]，在节点变更后，可能需要重新平衡卷以修复布局或迁移数据。 详细步骤： 步骤1：准备工作 - 检查目标机器的操作系统和架构是否与源机器一致。 - 确保目标机器有足够的磁盘空间，且磁盘路径与源机器相同（如果不同，则需要在配置中调整）。 - 确保网络互通，并且目标机器的主机名能够被集群中其他节点解析。 步骤2：安装GlusterFS - 在目标机器上安装GlusterFS，版本要与源集群一致。安装方法可参考官方文档或之前提供的安装步骤。 步骤3：迁移卷配置 - 在源节点上，可以使用以下命令导出卷配置： ```bash gluster volume get all <卷名> > volume-options.txt ``` 但是，这个命令只能导出卷选项，不包括卷的拓扑结构（即哪些brick属于哪个节点）。因此，更推荐的方法是记录下卷的拓扑结构（通过`gluster volume info`），然后在目标节点上重新创建卷。 - 另一种方法是备份整个GlusterFS的配置目录（`/var/lib/glusterd`），然后复制到目标机器上。但是，这个方法需要谨慎，因为其中包含节点UUID等信息，直接复制可能导致冲突。官方不推荐直接复制此目录。 - 推荐做法：在目标节点上重新创建卷。步骤如下： a. 在目标节点上创建brick目录（与源节点相同的路径，或者根据需求调整）。 b. 使用`gluster volume create`命令重新创建卷，指定相同的卷类型和brick路径（但使用目标节点的主机名或IP）。 注意：如果目标节点是作为源节点的替代，那么我们需要将源节点从卷中移除，然后添加目标节点。但是，如果整个集群迁移（即所有节点都要迁移），则需要逐个节点替换。 步骤4：迁移数据 - 如果目标节点是替换源节点，那么需要将源节点上的brick数据复制到目标节点对应的brick目录。由于GlusterFS的数据是原样存储（引用[1]），我们可以直接使用rsync等工具复制。 ```bash rsync -avzP /path/to/source/brick/ user@target:/path/to/target/brick/ ``` 注意：复制数据时，需要停止源节点上的glusterfs服务（或者确保在复制期间没有写入操作，否则可能导致数据不一致）。 步骤5：替换节点（如果目标节点是替换源节点） - 将目标节点加入集群（如果尚未加入）： ```bash # 在集群中任意节点上执行 gluster peer probe <目标节点主机名> ``` - 将目标节点添加到卷中（以替换源节点）： ```bash gluster volume replace-brick <卷名> <源节点>:<brick路径> <目标节点>:<brick路径> commit force ``` 这个命令会启动数据迁移（从源节点到目标节点），并完成替换。 但是，如果我们要完全移除源节点，则需要先确保目标节点已经加入并复制了数据，然后从卷中移除源节点： ```bash gluster volume remove-brick <卷名> <源节点>:<brick路径> start gluster volume remove-brick <卷名> <源节点>:<brick路径> status # 查看状态 gluster volume remove-brick <卷名> <源节点>:<brick路径> commit ``` 然后，将源节点从集群中移除（如果不再需要）： ```bash gluster peer detach <源节点主机名> ``` 步骤6：重新平衡卷 - 在节点变更后，根据引用[2]，我们需要修复布局以使文件分布到新节点。执行： ```bash gluster volume rebalance <卷名> fix-layout start ``` 或者，如果需要迁移数据（如添加了多个节点，需要数据重新分布）： ```bash gluster volume rebalance <卷名> start ``` 然后可以通过`status`命令查看进度。 注意事项： - 迁移过程中应避免写入操作，或者确保在业务低峰期进行。 - 迁移后要测试卷的挂载和使用是否正常。 - 如果整个集群迁移，需要逐个节点替换，并确保每次替换后集群健康。 以上步骤适用于节点替换或新增节点。如果用户是迁移整个集群（例如，从旧服务器迁移到新服务器），则需要按照集群的拓扑结构，逐个节点进行替换。 由于用户的问题描述是“将一个机器上的GlusterFS配置迁移到另一台机器”，我们假设是单节点迁移（即替换一个节点）。如果是整个集群迁移，则需要重复上述步骤（从非冗余节点开始，逐个替换，并确保每一步后集群仍然冗余）。 引用说明： - 引用[1]说明了GlusterFS的数据存储方式，这让我们可以直接复制数据文件。 - 引用[2]提供了重新平衡卷的方法，这在迁移后调整数据分布时非常重要。 因此，我们按照上述步骤回答用户。 注意：在迁移过程中，如果卷是复制卷或分布式复制卷，那么替换节点时，数据会自动从其他副本同步，但上述步骤（使用replace-brick）是官方推荐的方式。 最后，生成相关问题。</think>根据您的需求，我将详细说明如何将 GlusterFS 配置从一台机器迁移到另一台机器，结合引用内容的关键特性： ### 🔧 迁移步骤（保留原数据格式特性） 1. **准备目标机器** ```bash # 在目标机器安装相同版本的 GlusterFS sudo apt install glusterfs-server glusterfs-client # Ubuntu/Debian # 或 sudo yum install glusterfs-server glusterfs-client # CentOS/RHEL ``` 2. **迁移配置文件** ```bash # 在源机器备份配置（关键目录） sudo tar -czvf gluster-backup.tar.gz /etc/glusterfs /var/lib/glusterd # 复制到目标机器 scp gluster-backup.tar.gz user@new-server:/tmp/ # 在目标机器恢复配置 sudo tar -xzvf /tmp/gluster-backup.tar.gz -C / ``` 3. **迁移数据文件（利用原样存储特性）** ```bash # 直接复制原始数据文件（无需格式转换） rsync -avzP /data/gluster-brick/ user@new-server:/data/new-brick/ ``` > 📌 **重要提示**： > 得益于 GlusterFS 的原样存储特性（引用[1]），数据文件可直接复制使用，无需转换格式[^1] 4. **重建卷配置** ```bash # 在目标机器重建卷（使用相同卷类型） sudo gluster volume create vol1 replica 2 new-server:/data/new-brick force # 启动卷 sudo gluster volume start vol1 ``` 5. **重新平衡数据（关键步骤）** ```bash # 修复布局并迁移数据（引用[2]） sudo gluster volume rebalance vol1 fix-layout start sudo gluster volume rebalance vol1 start # 监控进度 sudo gluster volume rebalance vol1 status ``` > ⚠️ 此步骤确保新节点正确接管数据分布（分布式卷/复制卷场景尤其重要）[^2] 6. **客户端切换** ```bash # 更新客户端挂载点 sudo umount /mnt/gluster sudo mount -t glusterfs new-server:/vol1 /mnt/gluster ``` ### 🌟 迁移优势（基于引用特性） 1. **零格式转换** 数据文件保持原生格式，可直接访问备份文件（引用[1]）[^1] 2. **在线迁移** 支持 `replace-brick` 命令实现热迁移，减少业务中断： ```bash gluster volume replace-brick vol1 old-server:/brick new-server:/brick commit force ``` 3. **拓扑灵活性** 可无缝整合到新的分布复制卷架构（引用[3]），支持跨机架/可用区部署[^3] ### ⚠️ 注意事项 1. 版本一致性：源/目标服务器需保持相同 GlusterFS 主版本 2. 防火墙配置：确保新节点开放 `24007/tcp` 和 `49152-49251/tcp` 端口 3. 数据验证：迁移后运行 `gluster volume heal vol1 info` 检查数据完整性 4. 灰度切换：建议先迁移非生产卷测试 > 💡 **经验提示**：对于分布式复制卷（Distributed Replicated），建议逐个brick迁移，避免同时下线多个副本节点[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值