Rsync 远程同步 Inotify 监控部署

---

一、Rsync 服务器

1、Rsync 介绍

• rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行
  改变原有数据的属性信息，实现数据的备份迁移特性。
• rsync软件适用于unix/linux/windows等多种操作系统平台
• rsync是一个快速和非常方便的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制，它提供了大量的
  参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制
• 以其delta-transfer算法闻名。
• rsync监听端口：873
• rsync运行模式：C/S

2. 同步方式

• 全量备份：
• 原有的数据全部传送
• 把原来的文件和新的文件一起统一传送
• 全量复制，效率低

3. 增量备份

• 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输，增量复制，效率高。

4. Rsync 命令

• 语法格式

rsync [选项] 原始位置 目标位置

• 常用选项

选项	说明
-r	递归模式，包含目录及子目录中的所有文件。
-l	对于符号链接文件仍然复制为符号链接文件。
-v	显示同步过程的详细（verbose）信息。
-z	在传输文件时进行压缩（compress）。
-a	归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”
-p	保留文件的权限标记。
-t	保留文件的时间标记。
-g	保留文件的属组标记（仅超级用户使用）。
-o	保留文件的属主标记（仅超级用户使用）。
-H	保留硬链接文件。
-A	保留ACL属性信息。
-D	保留设备文件及其他特殊文件。
--delete	删除目标位置有而原始位置没有的文件。
--checksum	根据对象的校验和来决定是否跳过文件

二、配置 rsync 源服务器

1. Rsync 同步源

• 在远程同步任务中，负责发起 rsync 同步操作的客户机称为客户端，而负责响应来自客户端的 rsync 同步操作的服务器称为备份源，也称之为同步源
• 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限
• 在上行同步中（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限
  

2. Rsync 配置思路

#基本思路
建立rsyncd.conf配置文件、独立的账号文件
启用rsync的 --daemon模式
---------------------------------------------------------------------------------------------
#配置文件 rsyncd.conf
需手动建立，语法类似于Samba配置
认证配置 auth users、secrets file，不加则为匿名
---------------------------------------------------------------------------------------------
#rsync账号文件
采用“用户名:密码”的记录格式，每行一个用户记录
独立的账号数据,不依赖于系统账号
需要对应配置文件模块(使用不同的账号+功能模块，就可以使用不同的同步策略/方式
在使用同步时，我们需要指定账号+功能模块来指定我们同步的策略
---------------------------------------------------------------------------------------------
#启用 rsync 服务
通过"--daemon"独自提供服务（rsync --daemon）
执行"kill $(cat /var/run/rsyncd.pid)"关闭服务

#配置源的两种表示方法

#格式一
用户名@主机地址: :共享模块名.
rsync -avz backuper@192.168.16.16::wwwroot /root

#格式二
rsyne://用户名@主机地址/共享模块名
rsync -avz rsync:/ /backuper@192.168.16.16::/wwwroot /root

三、配置 rsync 远程同步

1. 环境准备

主机	ip地址
rsync	192.168.16.16
client	192.168.16.17

• 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

2. 下载并启动服务

#查看是否已安装，一般系统已默认安装rsync
rpm -q rsync
yum -y install rsync		 						#安装rsync
vim /etc/rsyncd.conf		 						#修改/etc/rsyncd.conf配置文件
-------------------------------------------------------------------------------------------------
#定义共享模块全局模块配置
uid = nobody	 									#root
gid = nobody	 									#root
use chroot = yes		 							#禁锢在源目录；禁锢的对象：使用用户的权限/身份；禁锢的目录就是源目录；源目录就是共享模块下的path = /var/www/html(源目录会在每个共享模块下)
address = 192.168.16.16	 							#监听地址
port 873		 									#监听端口/tcp/udp 873， 可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log 		 				#日志文件位置
pid file = /var/run/rsyncd.pid 		 				#存放进程ID的文件位置
hosts allow = 192.168.16.0/24 	 					#允许访问的客户机地址
-------------------------------------------------------------------------------------------------
#共享模块（可以为多个）  可以对应不同的“源目录” 和授权账号信息
[wwwroot]											#第一个共享模块
path = /var/www/html		 						#源目录的实际路径
comment = Document Root of www.1jm.com
read only = yes		 								#是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型,即rsync -avz
auth users = backuper		 						#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db 		 		#存放账户信息的数据文件，即用户密码的地址
-------------------------------------------------------------------------------------------------
#如采用匿名的方式，只要将其中的"auth users" 和"secrets file" 配置项去掉即可
vim /etc/rsyncd_users.db		 					#为备份账户创建数据文件，存放用户和用户密码
backuper: gl	 									#无需建立同名系统用户
chmod 600 /etc/rsyncd_users.db		

#保证所有用户对源目录/var/www/html 都有读的权限 				
mkdir -p /var/www/html
chmod +r /var/www/html/
ls -ld /var/www/html/

#启动rsync 服务程序
rsync --daemon	 									
netstat -antp | grep rsync 

3. 测试远程同步

rsync 端源目录下创建 abc 目录及 1.txt 文件

① 交互型：验证client端是否实现远程共享

rsync -avz backuper@192.168.16.16::wwwroot /abc/	 			#clietnt进程远程共享

② 无交互型

[root@client abc]# rm -rf 1.txt		
[root@client abc]# ls
[root@client abc]# cd ..
[root@client /]# vim /etc/server.pass
[root@client /]# cat /etc/server.pass
gl
[root@client /]# chmod 600 /etc/server.pass
[root@client /]# rsync -avz backuper@192.168.16.16::wwwroot /abc/
Password: 
receiving incremental file list
./
1.txt
sent 46 bytes  received 113 bytes  63.60 bytes/sec
total size is 6  speedup is 0.04
[root@client /]# cd /abc
[root@client abc]# ls
1.txt

③ 如果服务端没有1.txt文件，但是本地client端有1.txt，是否可以同步呢？

#服务端
[root@rsync ~]# cd /var/www/html
[root@rsync html]# ls
1.txt
[root@rsync html]# rm -rf 1.txt									#删除共享文件
[root@rsync html]# ls
[root@rsync html]# 
#client客户端操作共享发现仍存在1.txt
[root@client ~]# cd /abc
[root@client abc]# ls
1.txt
[root@client abc]# rsync -avz --password-file=/etc/server.pass backuper@192.168.16.16::wwwroot /abc
Password: 
receiving incremental file list
./

sent 27 bytes  received 47 bytes  29.60 bytes/sec
total size is 0  speedup is 0.00
[root@client abc]# ls
1.txt

如果想实现的是同步那么应该本地也删除1.txt，加上–delete选项即可实现

[root@client abc]# rsync -avz --delete --password-file=/etc/server.pass 		backuper@192.168.16.16::wwwroot /abc
receiving incremental file list
deleting 1.txt/

sent 20 bytes  received 40 bytes  40.00 bytes/sec
total size is 0  speedup is 0.00

4. rsync 实时同步的优缺点

• 定期同步的不足
  ① 执行备份的时间固定，延迟明显、实时性差
  ② 当同步源长期不变化时，密集的定期任务是不必要的
  ③ 需要人为触发，shell脚本或者crontab

• 实时同步的优点
  ① 一旦同步源出现变化，立即启动备份
  ② 只要同步源无变化，则不执行备份

四、Inotify 简介

1. inotify 是什么

• Inotify 是一个 Linux 内核特性，它监控文件系统，并且及时向专门的应用程序发出相关的事件警告，比如删除、读、写和卸载等操作，还可以跟踪活动的源头和目标等细节

• Inotify 反应灵敏，用法非常简单，并且比 cron 任务的繁忙轮询高效得多

2. Inotify 的使用

可以监控文件系统的变动情况，并做出通知响应，辅助软件是 inotify-tools

• 调整 inotify 内核参数（优化）

/etc/sysctl.conf 									#内核参数配置文件 
inotifywait：										#用于持续监控，实时输出结果
inotifywatch：										#用于短期监控，任务完成后再输出结果
max_queue_events    								#监控事件队列大小
max_user_instances  								#最多监控实例数
max_user_watches    								#每个实例最多监控文件数  

持续监控并实时输出监控结果的命令-inotifywait

• 格式 inotifywait 参数解析

常见参数	说明
-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型

五、rsync + inotify 实时同步部署

1. 服务端修改 rsync 配置文件

vim /etc/rsyncd.conf
	uid = root		 										#修改为root
	gid = root		 										#修改为root
	[wwwroot]
	read only = no		 									#关闭只读，上行同步需要可写权限
kill 'cat /var/run/rsyncd.pid'
netstat -natp | grep rsync
rsync --daemon		 										#启动rsync
netstat -natp | grep rsync		 							#验证是否开启

2. 客户端修改 inotify 内核参数

vim /etc/sysctl.conf
	fs.inotify.max_queued_events = 32768		 			#监控时间队列，默认为16384
	fs.inotify.max_user_instances = 1024		 			#最多监控实例数，默认为128
	fs.inotify.max_user_watches = 1048576		 			#每个实例最多监控文件数，默认为8192
当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值
sysctl -p		 											#刷新生效

3. client 安装 inotify-tools

yum -y install gcc gcc-c++
tar -zxvf inotify-tools-3.14.tar.gz -C /opt
cd /opt/inotify-tools-3.14
./configure
make && make install

4. 执行“inotifywait"命令，查看监控结果

• 持续监控目录abc下的操作并时时输出结果，这时复制 client 的客户端开启新的会话，在abc下面目录下添加文件、移动文件，跟踪屏幕输出结果

inotifywait -mrq -e modify,create,move,delete /abc 

5. client 端编写触发同步脚本

删除掉rsync端的1.txt

#客户端
vim /opt/inotify.sh 

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"
RSYNC_CMD="rsync -apzH --delete --password-file=/etc/server.pass /abc/ backuper@192.168.16.17::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE 
do
	if [ $(pgrep rsync | wc -l) -le 0 ]; then
		$RSYNC_CMD
	fi
done

chmod +x /opt/inotify.sh
chmod +x /etc/rc.d/rc.local 										#启动脚本
echo "/opt/ inotify.sh"  >> /etc/rc.d/rc.local
sh -x inotify.sh		 											#允许同步脚本

#再开一个客户端会话，创建一个文件
cd /opt
touch 1.txt

• 脚本详解

• INOTIFY_CMD：持续监听并时时报告指定目录下的报告
• RSYNC_CMD：把本地推送到对方192.168.16.17同步源的共享目录里面
• inotify_cmd：监听abc的动态变化，但是无法同步，这时就需要rsync -apzH(H：符号连接)将abc目录下的数据同步，那么同步给谁，backuper@192.168.8.14::wwwroot/：表示同步给rsycn源服务器；数据同步指的是：本地abc的内容同步给wwwroot的模块内/var/www/html内

6. 测试

• 客户端 /abc 创建文件

[root@client abc]# mkdir abc

• 服务端查看文件

cd /var/www/html
ls