远程同步rsync

1. rsync的同步概述

1.1 rsync的同步简介

rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。 rsync 本来是用以取代 rcp 的一个工具, 它当前是由rsync.samba.org 维护. rsync 使用所谓的 “rsync 演算法”, 提供一个非常快速的文件传输方法, 使 local 和远程二部主机之间的文件达到同步, 它主要是传送二个文件的不同部份, 而非每次都整份传送, 因此速度相当地快. 运行rsync server的机器也就是backup server，1台rsync server可同时备份多个client的数据；也可以多个rsync备份1个client的数据。 rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。 Rsync server会打开一个 873 的服务通道(port), 等待对方 rsync 连接. 连接时, rsync Server 会检查口令是否相符, 若通过口令查核, 则开始进行文件传输. 第一次连通完成时, 会把整份文件传输一次, 下一次就只传送二个文件之间不同的部份.

Rsync client可以是类unix主机也可以是windows主机(需配合Sync2NAS使用)。

1.2 配置rsync的基本思路

1. 建立建立rsyncd.conf配置文件
2. 独立的账号密码文件
3. 启用rsync的 --daemon模式

1.3 rsync的基本命令用法

-a：归档模式，递归并保留对象属性

-v：显示同步过程的详细信息

-z：在传输文件时进行压缩

-H： 保留硬链接文件

-A：保留ACL属性信息

–delete：删除目标位置而原始位置没有的文件

–checksum：根据对象的校验和来决定是否跳过文件

配置源的两种表示方式

格式1：用户名@主机地址::共享模块名
 rsync backuper@20.0.0.28::wwwroot /opt/
 
格式2：rsync://用户名@主机地址/共享模块
rsync -avz rsync://backuper@20.0.0.28::wwwroot /opt/

2. 简单配置rsync

■ 应用示例
用户backuper，允许下行同步
操作目录为 /var/www/html（安装HTTP）

1. 准备工作

[root@localhost ~]# systemctl stop  firewalld  ###关闭防火墙 
[root@localhost ~]# vim /etc/selinux/config    ###关闭核心防护
SELINUX=disabled
[root@localhost ~]# iptables -F    ###清空防火墙规则
[root@localhost ~]# setenforce 0   ###临时关闭核心防护

2. 配置rsync源服务器
   源端配置

[root@localhost ~]# rpm -q rsync  ##查看包是否存在
rsync-3.1.2-4.el7.x86_64

[root@localhost ]#  vim /etc/rsyncd.conf 
uid = nobody      
gid = nobody
use chroot = yes  ##禁锢家目录
address = 20.0.0.28   ##监听地址
port 873   ##指定端口
pid file = /var/run/rsyncd.pid   ##pid文件目录位置
log file = /var/log/rsyncd.log   ##日志文件目录位置
hosts allow = 20.0.0.0/24   ##白名单，允许哪些网段能够访问

[wwwroot]   ###共享模块名称
path = /var/www/html/   ##共享指定站点
comment = www.chen.com  ##描述信息，随便写
read only = yes    ###只读模式  
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2   ##这些格式都不进行压缩
auth users = backuper  ##身份验证账户
secrets file = /etc/rsyncd_users.db  ##配置身份验证账号密码位置

root@localhost ~]#vim  /etc/reyncd_users.db   ###编辑账号密码
backuper:abc123

[root@localhost ~]#  chmod 600 /etc/reyncd_users.db   ###只给读的权限

[root@localhost ~]# yum -y install httpd  ###安装一下apache，提供服务站点

root@localhost ~]# reync --daemon   ###启动守护进程服务
[root@localhost ~]# rsync -antp |grep 873    ###看一下服务是否启动
  

发起端配置

格式一：
[root@localhost etc]# rsync backuper@20.0.0.28::wwwroot /opt/   ###进行同步

格式二：
[root@localhost etc]#  rsync -avz rsync://backuper@20.0.0.28::wwwroot /opt/    ###进行同步

免交互：
[root@localhost etc]#  vim /etc/server.pass     ###创建免交户密码
abc123  
[root@localhost etc]#  chmod 600 /etc/server.pass  ###给读的权限

[root@localhost etc]# rsync -avz --delete --password-file=/etc/server.pass backuper@20.0.0.28::wwwroot /opt/  ###面交互式同步

3. rsync+inotify

在生产环境中通常都是rsync+inotify结合使用的，实现全自动化同步信息

3.1 配置过程

发起端配置

root@localhost ~]# vim /etc/sysctl.conf  ###调整系统内核参数，配置一下监控信息
fs.inotify.max_queued_events = 16384     ###监控事件队列大小
fs.inotify.max_user_instances = 1024        ###最多监控实例数
fs.inotify.max_user_watches = 1048576    ###每个实例最多监控文件数，监控数应大于监控

[root@localhost ~]# sysctl -p               ###刷新
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

[root@localhost opt]# tar zxvf inotify-tools-3.14.tar.gz   ###将工具解压到当前文件夹
解压inotify-tools-3.14.tar
[root@localhost opt]# cd inotify-tools-3.14/
[root@localhost inotify-tools-3.14]# yum -y install gcc gcc-c++ make  ###安装一下gcc编译器

[root@localhost ~]# cd /opt/inotify-tools-3.14/                       ###到这个目录下
[root@localhost inotify-tools-3.14]# ./configure                      ###执行
[root@localhost inotify-tools-3.14]# make && make install   ###编译安装

[root@localhost ~]# yum -y install httpd   ###安装一下apache

[root@localhost ~]#inotifywait  -mrq  -e  modify,create,move,delete  /var/www/html     ### -mrq:持续性监控，-e:操作，modify:修改，create:创建，move:移动，delete:删除  ，监控本地的/var/www/html

这时候可以再开一个发起端操作字符界面，在/var/www/html 下创建一个文件，看innotify是否有变化

这时候我们要实现同步,可以是发起端去同步源端，也可以是发起端推送给源端，实现源端和发起端同步
这边我们实现的是发起端推送给源端

注意点：如果要显示同步，要在源端中做一下设置

vi /etc/rsyncd.conf   ##进入配置文件
read only = yes ##将只读的yes改成no，这样才能写

chmod 777 /var/www/html/  ##给其他用户授予全部权限

最后我们进发起端做最后的设置

[root@localhost ~]# vi /etc/server.pass  ##编辑交互密码
[root@localhost ~]#  chmod 600 /etc/server.pass ##给权限

chmod 777 /var/www/html/   ##给权限

最后写一个全自动脚本
vi /opt/daemon.sh
#!/bin/bash

INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"   ##监控发起端是否存在操作
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/   backuper@20.0.0.88::wwwroot/"  ##将源端共享模块和发起端同步
$INOTIFY_CMD | while read DIRECTORY EVENT FILE   ##判断发起端是否有操作
do
        if [ $(pgrep rsync | wc -l) -le 0 ] ; then  ##如果有则过滤rsync的进程号数量，如果小于等于0，则执行同步
                $RSYNC_CMD
        fi
done

chmod +x /opt/daemon.sh ##授予执行权限
./daemon.sh 执行脚本

测试
在发起端再开一个字符界面
然后在共享站点中创建文件
看一下脚本是否自动执行
脚本里面有信息出现

[root@localhost opt]# ./inotify.sh  ###这个报错不影响同步
rsync: chgrp "/html" (in wwwroot) failed: Operation not permitted (1)
rsync: chgrp "/html/.test.txt.at3wRj" (in wwwroot) failed: Operation not permitted (1)
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]

则去源端看一下同步没有