Rsync+Inotify基础配置 以及 Rsync+Inotify配置实现文件自动同步

最新推荐文章于 2023-05-22 19:55:44 发布
原创 最新推荐文章于 2023-05-22 19:55:44 发布 · 390 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rsync #inotify #错误总结

本文介绍如何利用Rsync和Inotify实现文件系统的实时同步，包括服务端和客户端的配置步骤，以及如何通过Web服务器展示同步效果。
  • Rsync(Remote sync)是数据镜像备份软件,可以实现对于数据的差异进行差异备份,用于减少数据备份的负担,数据的传输可以使用加密机制,Rsync使用的端口是873端口;
  • Rsync也是C/S架构的服务模型,一个Rsync服务器,但是允许有多个Rsync客户端,这里使用一台Rsync server,两台Rsync Client来配置

  • 服务的规划

    Rsync server: 172.25.23.8 [server7.com]
    Rsync Clinet: 172.25.23.9[server8.com] 172.25.23.10[server9.com]
    OS:Rhel6.5

  • 首先安装服务 

[root@server8 ~]# yum install rsync -y
  • 对于rsync server来说需要提供三个配置文件,都是在/etc/目录里面,这些文件默认是不存在的
[root@server8 etc]# cat /etc/rsyncd.conf 
添加:
motd file = /etc/rsyncd.motd      //欢迎 

transfer logging = yes

log file = /var/log/rsyncd.log 

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

port = 873

address = 172.25.23.8

uid = nobody

gid = nobody


use chroot = no 

read only = yes 

max connections = 10

[common]
comment = Test connect

path = /shared

ignore errors 

#exclude=noshared/

auth users = tom,jerry

secrets file = /etc/rsyncd.secrets

hosts allow = 172.25.23.0/255.255.255.0

hosts deny=*

list = false
  • 这里新建立目录/shared 来进行共享
[root@server8 ~]# mkdir /shared
[root@server8 ~]# mkdir /shared/noshared
  • 添加允许的用户帐号和密码文件,并且需要更改密码文件的权限
[root@server8 ~]# echo "tom:pass" > /etc/rsyncd.secrets
[root@server8 ~]# echo "jerry:jerry" >> /etc/rsyncd.secrets
[root@server8 etc]# chmod 600 rsyncd.secrets
  • 接下来复制一些文件到共享的目录里面
[root@server8 ~]# cp -r /etc/* /shared/
  • 使用命令启动服务
[root@server8 ~]# rsync --daemon
[root@server8 ~]# echo "/usr/bin/rsync --daemon" >> /etc/rc.local
  • 接下来在两个rsync client上面安装rsync 服务,
[root@server9 ~]# yum install rsync -y
[root@server10 ~]# yum install rsync -y
  • 在rsync client上面使用命令来同步rsync server上面的数据
[root@server9 ~]# rsync -vzrtopg --progress tom@172.25.23.8::shared /shared

[root@server10 ~]# rsync -vzrtopg --progress tom@172.25.23.8::shared /shared

Password:    //总金额里需要输入设置好的密码
receiving incremental file list
created directory /shared
./
passwd
        1220 100%    1.16MB/s    0:00:00 (xfer#1, to-check=1/3)
noshared/

sent 81 bytes  received 704 bytes  224.29 bytes/sec
total size is 1220  speedup is 1.55
  • 对比三台主机上面的数据
Rsync server:
[root@server8 shared]# ll
total 8
drwxr-xr-x. 2 nobody nobody 4096 3月  19 10:44 noshared
-rw-r--r--. 1 root   root   1220 3月  19 11:03 passwd

Rsync client
[root@server9 ~]# ll /shared/
total 8
drwxr-xr-x. 2 nobody nobody 4096 3月  19 10:44 noshared
-rw-r--r--. 1 root   root   1220 3月  19 11:03 passwd

[root@server10 ~]# ll /shared/
total 8
drwxr-xr-x. 2 nobody nobody 4096 3月  19 10:44 noshared
-rw-r--r--. 1 root   root   1220 3月  19 11:03 passwd
  • 关于rsync命令的使用
  • rsync:用于实现数据远程复制的工具
    • -v:用于显示详细信息
    • -q:表示静默模式,不输出错误信息;
    • -a:表示归档模式,表示保留文件的属性信息;
    • -r:表示进行递归;
    • -b:如果存在同名文件,那么修改旧的文件名称为~filename;
    • --back-dir:用于将备份文件保留在指定文件下面;
    • --suffix:用于指定备份文件前缀;
    • -u:表示仅仅进行更新操作,不使用下载的文件覆盖旧文件;
    • -l:保留符号链接;
    • -p:表示保留文件属性;
    • -H:表示保留硬链接;
    • -A:表示保留ACL权限;
    • -o:保留所有者信息;
    • -g:保留文件所属组的信息;
    • --devices:保留设备文件;
    • --special:表示保留设备文件;
    • -t:表示保留修改时间属性;
    • -W:表示不进行增量检查,直接复制所有的文件;
    • --existing:表示仅仅同步目标路径中已经存在的文件,不下载源路径下新的文件;
    • --include=:匹配不需要排除的文件;
    • --exclude=:匹配需要配出的文件;
    • --progress:表示显示数据传输的进度信息;
    • --partial:表示保留因为故障传输没有完成的文件;
  • 对于文件的同步,如果每次都需要使用手动命令来进行同步,是不能够进行实时同步的,即使将数据的同步做成计划任务,这里使用的一种方式是结合内核提供的Inotify机制来实现文件的差异的自动同步;
  • 内核提供的Inotify通常可以对下列的事件进行通知;
    • IN_ACCESS:文件访问事件;
    • IN_MODIFY:文件修改事件;
    • IN_ATTRIB:文件属性修改事件;
    • IN_CLOSE_WRITE:表示可写文件关闭;
    • IN_CLOSR_NOWRITE:表示不可写文件关闭;
    • IN_MOVED_FROM:文件位置或者名称改变;
    • IN_MODED_TO:同上;
    • IN_DELETE:文件删除;
    • IN_CREATE:文件创建;
    • IN_DELETE_SELF:文件的自删除, 一个可执行文件在执行时,删除自己;
  • 接下来需要编译安装inotify-tools-master.zip
  • 这个软件时需要安装在rsync server上面的,首先解决依赖关系
[root@server8 inotify-tools-master]# yum install automake gcc libtool
  • 其次进行编译安装
[root@server8 inotify-tools-master]# ./autogen.sh 
[root@server8 inotify-tools-master]# ./configure
[root@server8 inotify-tools-master]# make && make install
  • 编译安装生成两个命令inotifywait以及inotifywatch
  • inotifywait:
    • 用于等待文件系统事件,多用于实时监控文件系统变化;
    • @<file>:用于指定监控路径之外的文件,也就是不进行监控的文件;
    • --fromfile <file>:表示需要监控的以及不需要监控的文件在一个文件里面进行说明;
    • -m:表示在接收到事件之后不进行退出;
    • -d:表示程序进入后台执行,可以通过--outfile指定事件信息的输出文件;
    • -o:用于将事件输出的位置,默认是标准输出;
    • -s:将错误信息输出至系统日志,默认输出到标准错误输出;
    • -r:表示进行递归监控;
    • -q:表示静默模式,也就是不输出任何信息;
    • -t:表示用于说明监控的时间,也就是超出时间没有事件发生,那么就退出;
    • -e:用于指定监控的事件类型;
  • 首先在server8.com上面进行一个简单的测试
  • 创建测试目录以及测试文件
[root@server8 inotify-tools-master]# mkdir /inotifytest -p
[root@server8 inotify-tools-master]# echo "hello" > /inotifytest/foo
[root@server8 inotify-tools-master]# inotifywait /inotifytest/
  • 在一个tty上面执行这个命令,在另一个tty查看文件
[root@server8 inotify-tools-master]# inotifywait /inotifytest/
Setting up watches.
Watches established.

[root@server8 ~]# cat /inotifytest/foo 
hello
然后查看得到的通知信息
/inotifytest/ OPEN foo
  • 上面信息表示的含义是/inotifytest/ 的foo执行了OPEN操作;
  • 结合上面的两个服务,接下来配置rsync+inotify来实现文件的实时同步

  • 这里来重新进行一个规划

    server8.com: 用于配置Rsync+Inotify,这个节点用于发布和修改数据;
    server9.com: 用于配置Rsync服务器,并且实时同步server8.com上面的数据;
    server10.com:配置和server10.com上面的配置是相同的;

  • 为了方便查看各个节点数据的同步情况,这里可以使用配置Web服务来查看页面;

    • 首先来配置两台Web服务器
[root@server9 ~]# yum install httpd -y
[root@server9 ~]#  mkdir /var/www/server9.com -p
[root@server9 ~]#  chmod 600 /var/www/server9.com/
[root@server9 ~]#  chown nobody.nobody /var/www/server9.com/

[root@server9 ~]# yum install rsync -y
[root@server9 ~]# vim /etc/rsyncd.conf
transfer logging = yes

log file = /var/log/rsyncd.log

pid file= /var/run/rsynvd.pid

lock file= /var/run/rsynvd.lock

uid = nobody

gid = nobody 

use chroot = no

ignore errors

read only = no

[server9.com]  名字和脚本里面的名称保持一致

comment = Web content


path = /var/www/server8.com

auth users = tom

secrets file = /etc/rsyncd.secrets

hosts allow = 172.25.23.8

hosts deny=*

list = false
[root@server9 ~]#  echo "tom:tom" > /etc/rsyncd.secrets
[root@server9 ~]# rsync --daemon
[root@server9 ~]#  echo "rsync -daemon" >> /etc/rc.local
  • 在另一个节点上面进行相同的操作
[root@server10 ~]# yum install httpd -y
[root@server10 ~]# yum install rsync -y
[root@server10 ~]# mkdir /var/www/server10.com -p
[root@server10 ~]# chmod 600 /var/www/server10.com/
[root@server10 ~]# chown nobody.nobody /var/www/server10.com/
[root@server10 ~]# vim /etc/rsyncd.conf 
transfer logging = yes

log file = /var/log/rsyncd.log

pid file= /var/run/rsynvd.pid

lock file= /var/run/rsynvd.lock

uid = nobody

gid = nobody

use chroot = no

ignore errors

read only = no

[server10.com] 这个名字和脚本里面的名字需要保持一致

comment = Web content
path = /var/www/server10.com

auth users = tom

secrets file = /etc/rsyncd.secrets

hosts allow = 172.25.23.8

hosts deny=*

list = false
[root@server10 ~]# vim /etc/rsyncd.secrets 
tom:tom
[root@server10 ~]# chmod 600 /etc/rsyncd.secrets
[root@server10 ~]# rsync --daemon
[root@server10 ~]# echo "rsync --daemon" >> /etc/rc.local
  • 接下来配置server8.com 也就是数据发布服务器
root@server8 ~]# yum install rsync -y 
[root@server8 ~]# yum install automake libtool -y
  • 第一次使用的软件包在server8.com上面执行make命令进入了无限循环,这里换了软件包来进行安装
[root@server8 mnt]# tar -zxf inotify-tools-3.14.tar.gz 
[root@server8 mnt]# cd inotify-tools-3.14
[root@server8 mnt]# ./configure
[root@server8 mnt]# make
[root@server8 mnt]# make install
  • 添加密码文件,一定修改密码文件的权限为600
[root@server8 mnt]# echo "tom" > /root/rsync.pass
[root@server8 mnt]# chmod 600 /root/rsync.pass
  • 这里需要手动编辑一个脚本
[root@server8 mnt]# vim notify_rsync.sh
#! /bin/bash

export PATH=/bin:/usr/bin:/usr/local/bin
SRC=/web_data/   //需要事先进行创建,并且权限可读可写
DEST1=server9.com
DEST2=server10.com

Client1=172.25.23.9
Client2=172.25.23.10

User=tom
Passfile=/root/rsync.pass

[ ! -e $Passfile ] && exit 2

inotifywait -mrq --timefmt '%y-%m-%d %H:%M' --format '%T %w%f %e' --event modify,create,move,delete,attrib $SRC|while read line

do 
echo "$line" > /var/log/inotify_web 2>&1 

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client1::$DEST1 >> /var/log/sync_web1 2>&1

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client2::$DEST2 >> /var/log/sync_web2 2>&1

done &
  • 将这个脚本交给rc.local进行托管
[root@server8 mnt]# echo "/mnt/notify_rsync.sh" >> /etc/rc.local
  • 然后执行这个脚本
[root@server8 ~]# /mnt/notify_rsync.sh
  • 同时查看以下里面的日志信息
[root@server8 ~]# tail -f /var/log/sync_web1 
sent 48 bytes  received 11 bytes  118.00 bytes/sec
total size is 36  speedup is 0.61
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]
sending incremental file list
./
rsync: failed to set times on "." (in server9.com): Operation not permitted (1)

sent 48 bytes  received 11 bytes  118.00 bytes/sec
total size is 36  speedup is 0.61
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]

  • 这个里面就是可能出现的错误信息;

  • 这里来修改server9.com 以及server10.com上面的默认发布目录

[root@server9 www]# vim /etc/httpd/conf/httpd.conf 
DocumentRoot "/var/www/server9.com"

[root@server9 www]# /etc/init.d/httpd reload
Reloading httpd: 

[root@server10 www]# vim /etc/httpd/conf/httpd.conf 
DocumentRoot "/var/www/server10.com"

[root@server10 www]# /etc/init.d/httpd reload
Reloading httpd:
  • 然后添加默认的发布页面,在server8.com的/web_data目录里面
[root@server8 ~]# cat /web_data/index.html
<h1>hello.inotify.success.com</h1>
rsync+inotify文件增量同步
菜鸟运维升级之路
10-24 952
rsync是一种强大的命令行工具，用于在本地或远程计算机之间进行文件同步,确保文件的准确性，它可以将文件从一个位置同步到另外一个指定文职，同时在同步过程中节约带宽和存储空间。
Rsync+Inotify实现文件同步
Jesse技术博客
05-28 437
#!/bin/sh SRC=/backup/testsvn/abc DST=root@192.168.1.1:/web/api/abc /www/server/inotify/src/inotifywait -mrq -e modify,delete,create,attrib ${SRC} | while read D E F do rsync -ahqzt --delete $SRC $DS...
Rsync+Inotify实现文件自动同步
zdl244的博客
11-30 664
Rsync+Inotify实现文件自动同步 Rsync是一个文件同步工具，安装Rsync服务器需要的安装包是rsync，Rsync服务器配置文件包含rsyncd.conf（主配置文件）、rsyncd.secrets(密码文件)和rsyncd.motd(服务器信息文件) [root@sm ~]# yum install rsync -y [root@sm ~]# vim /etc/rsyncd.co...
rsync+inotify自动同步
dhdudj的博客
11-21 685
rsync+inotify自动同步
rsync+inotify文件实时同步
lvxiaojiahuo的博客
05-09 1211
      rsync+inotify文件实时同步        一个CMS内容发布系统，后端采用负载均衡集群部署方案，由一个负载调度节点、2个服务节点和一个内容发布节点构成，内容发布节点负责将用户发布的数据生成静态页面，同时将静态网页传输至2个服务节点，而负载调度节点负责将用户请求根据负载算法调度到相应的服务节点上，实现用户访问。用户要求在前端访问到的网页数据始终是最新的、一致的。       ...
rsync+inotify实现服务器之间文件实时同步
03-09
在配置文件中，我们需要指定主机的IP地址、监控的目录、认证的模块名、密码文件的路径等信息，然后使用rsync命令来实现文件同步。 rsync+inotify方案可以实现服务器之间文件的实时同步，保障数据的一致性和实时性，...
rsync+inotify实时同步
06-24
标题《rsync+inotify实时同步》涉及的内容主要是如何通过组合rsync和inotify两个工具，实现文件或目录的实时同步功能。rsync是一个功能强大的文件传输工具，支持文件的快速同步、更新、备份等操作，而inotify则是...
rsync+inotify实现linux服务器之间文件实时+双向同步.docx
06-22
rsync+inotify是Linux系统中一种常用的实时文件同步方案，尤其适用于服务器之间的数据备份和同步。rsync是一个高效的数据同步工具，它可以快速地比较并传输文件和目录，而inotify则是Linux内核提供的一种文件系统...
通过rsync+inotify实现数据的实时备份配置
09-15
【rsync+inotify 实现数据实时备份配置】 在IT领域，数据安全是至关重要的，尤其是在大规模的应用系统中。rsync作为一种高效的数据同步工具，它能够实现数据的镜像和备份，但面对需要实时同步的需求时，rsync的效率...
rsync+inotify配置
繁华落尽的博客
09-12 373
rsync+inotify配置下载rsync源码：http://rsync.samba.org 安装rsync#tar zxvf rsync-3.1.2.tar.gz #cd rsync-3.1.2 #./configure #make && make installrsync有四种应用模式 shell模式(本地模式) 远程shell模式（利用ssh） 查询模式（列表模式） 服务器模式#r
rsync+inotify部署
勿念勿扰,相安静好
09-11 1334
rsync分为上行同步和下行同步      发起端和同步源的 上行同步：发起端同步数据到同步源 下行同步：发起端从同步源下载数据到发起端 发起端：管理员操作的机器就是发起端，也可以理解为客户端 同步源：数据存放的服务器叫做同步源 下行同步： 如果最下化安装的系统可能没有装rsync，使用yum安装即可：yum -y install rsync 在同步源服务器设置 修改rsync的配...
rsync+inotify配置实例
weixin_43154788的博客
09-19 318
需求说明 部署rsync+inotify同步/lzh目录至目标服务器的/tmp/lzh下 环境说明 服务器类型 ip地址 应用 源服务器 172.16.11.11 rsync，inotify-tools，脚本 目标服务器 172.16.11.12 rsync ①.关闭防火墙 [root@lizihan ~]# systemctl stop firewalld.servi...
配置rsync+inotify实时同步
人生就是一场修行
02-24 1200
Linux内核从2.6.13版本开始提供了inotify通知接口，用来监控文件系统的各种变化情况，如文件存取、删除、移动等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。 使用rsync工具与inotify机制相结合，可以实现触发式备份（实时同步） 部署环境 （CentOS 6.6）： 把 192.168.198.131 上的/var/www/html
CentOS7 Rsync服务搭建-Rsync+Inotify架构实现实时同步
热门推荐
不羈
10-10 23万+
centos7 rsync服务搭建-inotify+rsync架构实现实时同步
【Linux】企业实战项目rsync+inotify实现实时同步（inotify安装及介绍、rsync + inotify 实现实时同步、rsync + inotify实现开机自启 ）
Linux小白一只~正处于学习阶段，觉得我写的还好的请多多给我点赞呀,谢谢大家！！(๑＞ڡ＜)☆
02-13 2388
Inotify 监控文件系统操作，比如读取、写入和创建，基于事件驱动，可以做到对事件的实时响应，高效，而且没有轮询造成的系统资源消耗。
rsync远程同步:上行同步、下行同步+inotify实时同步部署
ll945608651的博客
05-22 2652
①.rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。②.rsync软件适用于unix/linux/windows等多种操作系统平台③.rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制④.以其delta-transfer算法闻名。⑤.rsync监听端口：873。
rsync+inotify实现文件的实时同步
Shallow的博客
12-09 9476
一、rsync工具介绍 rsync（remote sync）即远程同步。rsync不仅可以远程同步数据（类似于scp），而且可以本地同步数据（类似于cp），但不同于cp或scp的是，它不会覆盖以前的数据，而是先判断已经存在的数据和新数据的差异，只有数据不同时才会把不相同的部分覆盖。 rsync安装：yum install -y rsync rsync的命令格式： rsync [选项] ... SRC DEST rsync [选项] ... SRC [ USER@ ]HOST:DEST rsync [选
Inotify: 高效、实时的Linux文件系统事件监控框架
郑明经的专栏
04-10 2738
概要 - 为什么需要监控文件系统？ 在日常工作中，人们往往需要知道在某些文件(夹)上都有那些变化，比如： 通知配置文件的改变跟踪某些关键的系统文件的变化监控某个分区磁盘的整体使用情况系统崩溃时进行自动清理自动触发备份进程向服务器上传文件结束时发出通知 通常使用文件轮询的通知机制，但是这种机制只适用于经常改变的文件(因为它可以确保每过x秒就可以得到i/o)，其他情况下都非常低效，并且有时候
使用rsync+inotify实现实时文件同步：Linux多服务器配置指南
客户端同样创建一个相同的备份目录，确保路径与服务端一致，以实现文件同步。 接下来，我们将在服务端开启rsync服务： 1. 检查是否已安装rsync组件。在CentOS7系统中，可以通过`rpm -qa | grep rsync`命令查看。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值