sersync实时同步

本文介绍了实时同步的概念、原理及优势,重点提及sersync开发工具。通过案例展示了web上传视频文件至NFS存储,再实时复制到备份服务器的过程,包括各服务器的安装、配置和启动操作,还说明了如何平滑迁移NFS数据到备份服务器,避免业务中断。

实时同步概述:

    什么时实时同步:只要当前目录发生变化则会触发一个事件,事件触发后将变化的目录同步至远程服务器

    为什么要用实时同步:保证数据的连续性,减少人力维护成本,解决NFS单点故障

    实时同步实现原理:实时同步需要借助Inotify通知接口,用来监控目录的变化,如果监控的目录发生变更,则触发动作

    sersync优点:国人基于rsync_inotify-tools开发工具,不仅保留了优点同时还强化了实时监控,文件过滤,简化配置等功能,帮助用户提高运行效率,节省事件和网络资源

 

案例: 实现web上传视频文件,实则是写入NFS至存储,当NFS存在新的数据则会实时的复制到备份服务器

角色        外网IP(NAT)        内网IP(LAN)        安装工具

web01        eth0:10.0.0.7    eth1:172.16.1.7    httpd、php

nfs-server    eth0:10.0.0.31    eth1:172.16.1.31    nfs、sersync

backup        eth0:10.0.0.41    eth1:172.16.1.41    rsync-server

  1. web上传视频至nfs存储

    nfs存储服务 172.16.1.31

    安装

        yum install nfs-utils -t

    配置

        vim /etc/exports

        /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

        groupadd -g666 www    && useradd -u666 -g666 www

        mkdir /data && chown -R www.www /data

    启动

        systemctl start nfs && systemctl enable nfs

web服务器器操作: 172.16.1.7

    安装:

        yum install httpd php -y

    配置:

        mount -t nfs 172.16.1.31:data /var/www/html

        cd /var/www/html && 上传代码

        unzip kaoshi.zip

    启动

        systemctl start httpd

    修改上传的大小

        vim /etc/php.ini

        uplad_max_filesize = 200M;

        post_max_size = 200M;

        注意修改完记得重启服务:systemctl restart httpd

  1. web和nfs的数据都备份在备份服务器的/backup

备份服务器操作如下:172.16.1.41

    安装:

        yum install rsync -y

    配置

        vim /etc/rsyncd.conf

         uid = www

        gid = www

        port = 873

        fake super = yes

        use chroot = no

       max connections = 200

        timeout = 600

        ignore errors

        read only = false

        list = false

        auth users = rsync_backup

        secrets file = /etc/rsync.passwd

        [backup]

        comment = commit

        path = /backup

         [data]

         path = /data

    创建用户

    groupadd -g666 www && useradd -u666 -g666 www

    echo "rsync_backup:123456" > /etc/rsync.passwd && chmod 600 /etc/rsync.passwd

    mkdir -p /data /backup && chown -R www.www /backup /data

    启动:

        systemctl restart rsyncd

  1. 如何将nfs的数据实时的同步到备份服务器的/data目录

    安装:

    yum install inotify-tools -y

    wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

    tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz

    mv GNU-Linux-x86 /usr/local/sersync

    配置:

        vim /usr/local/sersync/confxml.xml

        <fileSystem xfs="true"/>

        <attrib start="true"/>

        <modify start="true"/>

        <localpath watch="/data">

     <remote ip="172.16.1.41" name="data"/>

        <commonParams params="-az"/>

     <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>

        <timeout start="true" time="100"/><!-- timeout=100 -->

    创建客户端密码文件

    echo "123456" >/etc/rsync.pass

    chmod 600 /etc/rsync.pass

    启动:

        /usr/local/sersync/sersync2 -dro /usr/local/sersyc/confxml.xml

    注:启动sersync后一定要提取同步的命令,手动运行一次,检查是否存在错误

 

如何平滑的迁移nfs数据到backup服务器,并且让后续的上传都是上传至backup(不能出现业务中断)

  1. backup服务器上需要运行和nfs服务器上一样的业务环境

    创建用户

    groupadd -g 666 www

    useradd -u666 -g666 www

    配置

    yum install -y nfs-utils -y

    cat /etc/exports

    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

    启动

    systemctl restart nfs-server

  1. 先实现实时的同步
  2. 在web上实现切换,卸载nfs的/data目录,重新挂载backup服务的/data目录

    umount -lf /var/www/html/ && mount -t nfs 172.16.1.41:/data /var/www/html/

转载于:https://www.cnblogs.com/yexiuer/p/10802397.html

### 解决方案分析 sersync 实时同步开启卡死的问题可能由多种因素引起,例如网络问题、配置文件错误、权限不足或资源占用过高。以下是针对该问题的详细分析与解决方案: #### 1. 检查 sersync 配置文件 确保 sersync 的配置文件正确无误。常见的配置文件路径为 `/etc/sersync.conf` 或安装目录下的 `confxml.xml` 文件[^3]。检查以下关键参数是否正确: - `<localpath watch="/ning">`:确认监控路径是否正确。 - `<remote ip="172.16.1.41" name="backup"/>`:确认目标服务器 IP 和模块名称是否匹配。 - `<rsync>` 标签下是否有正确的 rsync 参数设置。 如果配置文件中存在语法错误或路径不匹配,可能导致 sersync 卡死。 #### 2. 网络连接性测试 执行命令以验证网络连通性: ```bash rsync -avz -R --delete /ning rsync_backup@172.16.141::backup --password-file=/etc/rsync.password ``` 如果上述命令无法正常运行,可能是网络连接中断或目标服务器未启动 rsync 服务。此时需要检查网络状态和目标服务器的服务状态。 #### 3. 资源占用情况排查 使用以下命令检查系统资源占用情况: ```bash top -b -n 1 | grep sersync ``` 如果发现 sersync 进程占用 CPU 或内存过高,可能是由于监控目录下文件过多或频繁变更导致。可以尝试优化监控策略,例如限制同步文件类型或排除不必要的子目录。 #### 4. 日志分析 查看 sersync 的日志文件(通常位于 `/var/log/sersync.log` 或配置文件中指定的日志路径)。通过日志分析,可以定位具体的卡死原因。例如,如果日志中出现大量超时信息,则可能是网络问题;如果出现权限相关错误,则需要调整文件或目录权限。 #### 5. 清理残留锁文件 某些情况下,sersync 卡死后会生成锁文件(如 `/tmp/sersync.lock`),导致重新启动失败。可以通过以下命令清理锁文件并重启服务: ```bash rm -f /tmp/sersync.lock systemctl restart sersync ``` #### 6. 数据一致性恢复 如果卡死问题是由数据不一致引起的,可以参考 FusionSphere 私有云解决方案中的方法[^2]。清除目标服务器上的异常数据,并重新启动 rsync 服务以实现自动同步。 ### 示例代码 以下是一个优化后的 sersync 配置文件示例: ```xml <?xml version="1.0" encoding="UTF-8"?> <head> <host hostip="localhost" port="80"/> </head> <body> <pluginconfig> <plugin name="rsync"> <param name="src" value="/ning"/> <param name="dest" value="rsync_backup@172.16.1.41::backup"/> <param name="args" value="-avz --delete"/> <param name="passwordFile" value="/etc/rsync.password"/> </plugin> </pluginconfig> <inotify> <delete /> <createfile /> <modify /> <moveright /> <moveleft /> <attrib /> </inotify> </body> ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值