sersync+rsync服务器数据实时同步

简单记录一下

RSYNC概述

Rsync是linux系统下的数据镜像备份工具，使用快速增量备份工具Remote Sync可以远程同步，可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用，同时Rsync支持本地复制，或者与其他SSH、rsync主机同步

与scp比较：scp无法备份大量数据，类似windows的复制
rsync边复制 边统计&比较
作者Andrew Tridgell

Rysnc特性和优点
(1) 可以镜像保存整个目录树和文件系统。
(2) 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
(3) 无须特殊权限即可安装。
(4) 快速：第一次同步时 rsync 复制全部内容，但在下一次只传输修改过的文件。
(5) 压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
(6) 安全：可以使用scp、ssh等方式来传输文件。
(7) 支持匿名传输，以方便进行网站镜象。
(8) 选择性保持：符号连接，硬链接，文件属性，权限，时间等。

快速性：
第一次同步时 rsync 会将指定目录下全部内容复制同步，但在下一次只传输修改过的内容。

安全性：
可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
选择性保持：符号连接，硬链接，文件属性，权限，时间等。

压缩传输：
rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。

常见备份 完整备份 差异备份 增量备份

RSYNC原理
运行模式C/S
监听端口:873
发起端：C–>S
备份源：S
服务端：运行rsync服务 一般来说需要备份的服务器
客户端：存放备份数据
数据同步方式：
推push——一台主机负责把数据传送给其它主机，服务器开销大。适合后端服务器少的情况
拉pull——所有主机找一台主机拉数据 导致数据缓慢

使用rsync来同步是先通过xinetd监听873号端口，如果rsync进来的是873号端口，那么xinetd就会通知它所管辖的rsync服务来做回应，接下来就是rsync俩服务于之间的通讯

Rsync安装使用简写

rsync&xinetd一起安装
yum install -y xinetd rsync

rsync --daemon #运行rsync为daemon模式
ss -anput | grep 873 #查看873端口是否监听

rsync命令选项
(1) -a：–archive archive mode 权限保存模式，相当于 -rlptgoD 参数，存档，递归，保持属性等。
(2) -r：–recursive 复制所有下面的资料，递归处理。
(3) -p：–perms 保留档案权限，文件原有属性。
(4) -t：–times 保留时间点，文件原有时间。
(5) -g：–group 保留原有属组。
(6) -o：–owner 保留档案所有者(root only)。
(7) -D：–devices 保留device资讯(root only)。
(8) -l：–links 复制所有的连接，拷贝连接文件。
(9) -z：–compress 压缩模式，当资料在传送到目的端进行档案压缩。
(10) -H：–hard-links 保留硬链接文件。
(11) -A：–acls 保留ACL属性文件，需要配合–perms。
(12) -P：-P参数和 --partial --progress 相同，只是为了把参数简单化，表示传进度。
(13) --version：输出rsync版本。
(14) -v：–verbose 复杂的输出信息。
(15) -u：–update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件。
(16) --port=PORT：定义rsyncd(daemon)要运行的port(预设为tcp 873)。
(17) --delete：删除那些目标位置有的文件而备份源没有的文件。
(18) --password-file=FILE ：从 指定密码文件中获取密码。
(19) --bwlimit=KBPS：限制 I/O 带宽。
(20) --filter “-filename”：需要过滤的文件。
(21) --exclude=filname：需要过滤的文件。
(22) --progress：显示备份过程。
一般使用 -avz a保留权限时间等 v输出信息 z压缩与解压

创建rsync专用用户传输或者修改配置文件rsyncd.conf 添加虚拟用户使用
useradd用户需要添加权限 如ACL

传输使用命令
rsync -avz /需要备份的目录 user(目标主机用户)@ip:/备份到的位置

使用非系统用户备份数据
使用非系统用户进入备份数据，依靠系统中的rsync配置文件/etc/rsyncd.conf进行备份数据，并创建备份账户，最终把rsync以deamon方式运行。

1. rsyncd.conf配置文件：
   配置文件分为两部分：全局参数、模块参数。
   全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数最终生效。
   模块参数：定义需要通过rsync输出的目录定义的参数。

（1） 常见的全局参数：
port #指定后台程序使用的端口号，默认为873。

uid #该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。

gid #该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。

max connections #指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。

lock file #指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。

motd file #" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。

log file #" log file"指定rsync的日志文件，而不将日志发送给syslog。

pid file #指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。

hosts allow = #单个IP地址或网络地址，允许访问的客户机地址。

（2） 常见的模块参数：
主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

Comment #给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

path #指定该模块的供备份的目录树路径，该参数是必须指定的。

read only #yes为只允许下载，no为可以下载和上传文件到服务器。
exclude #用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传（既不可访问）

exclude from #指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行

include #用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。

include from #指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。

auth users #该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块（也就是匿名方式）。

secrets file #该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。

hosts allow #指定哪些IP的客户允许连接该模块。定义可以是以下形式：
单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开。
整个网段，例如：192.168.0.0/24，也可以书写为192.168.0.0/255.255.255.0
“*”则表示所有，默认是允许所有主机连接。

hosts deny #指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。

list #该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。

timeout #通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。

1、vim /etc/rsyncd.conf #如若文件不存在需手动创建
文件内#会出现注释不兼容问题导致推送数据报错 配置文件需取消注释或者进行换行处理

uid = root #运行进程的身份。
gid = root #运行进程的组。
address =192.168.1.64 #监听IP。
port =873 #监听端口。
hosts allow =192.168.1.0/24 #允许同步客户端的IP地址，可以是网段，或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0
use chroot = yes #是否囚牢，锁定家目录，rsync被黑之后，黑客无法再rsync运行的家目录之外创建文件，选项设置为yes。
max connections =5 #最大连接数。
pid file =/var/run/rsyncd.pid #进程PID，自动生成。
lock file =/var/run/rsync.lock #指max connectios参数的锁文件。
log file =/var/log/rsyncd.log #日志文件位置。
motd file =/etc/rsyncd.motd #客户端登陆之后弹出的消息，需要创建。
[wwwroot] #共享模块名称。
path =/web-back/ #路径。
comment = used for web-data root #描述。
read only = false #设置服务端文件的读写权限。
list = yes #是否允许查看模块信息。
auth users = rsyncuser #备份的用户，和系统用户无关。
secrets file =/etc/rsync.passwd #存放用户的密码文件，格式是 用户名：密码。

---

写这些就够用了
uid = root
gid = root
address = 192.168.10.231
port = 873
hosts allow = 192.168.10.0/255.255.254.0
use chroot = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
motd file = /etc/rsyncd.motd
[boot]
path = /opt/bootbk/
read only = false
list = yes
auth users = rsyncuser
secrets file = /opt/rsync.pd

那些文件保存位置可以不添加
2、创建密码文件

rsyncuser:123456  #格式为user：password

密码文件权限必须是600或700 否则身份验证会失效
3、启动rsync&xinetd服务
systemctl start xinetd
systemctl enable xinetd #开机启动
rsync --daemon --config=/etc/rsyncd.conf #启动rsync并加载配置文件
4、测试过程中 省略密码输入可在客户端将密码写入文件调用
文件名随便 文件内单独写明密码即可
rsync -avz /需备份目录 rsyncuser@ip::配置文件内定义的目录 --password-file=客户机自定义的密码文件
rsyncuser为虚拟用户 ip后不加/ 需两个’:’
–password-file 免交互

rsync&sersync数据实时同步

sersync简介
（1） sersync是基于inotify开发的，类似于inotify-tools的工具。
（2） sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录。

2. rsync+inotify-tools与rsync+sersync架构的区别？
   （1） rsync+inotify-tools
   1） inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来。
   2） rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行遍历查找和比较，最终达到同步的效果。当数据量很大时，整个目录同步非常耗时，因此效率很低。

（2） rsync+sersync
1） sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字。
2） rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。

3. 同步过程：
   （1） 在同步服务器上开启sersync服务，sersync负责监控配置路径中的文件系统事件变化。
   （2） 调用rsync命令把更新的文件同步到目标服务器。
   （3） 需要在主服务器配置sersync，在同步目标服务器配置rsync server（注意：是rsync服务）。

4. 同步过程和原理：
   （1） 用户实时的往sersync服务器上写入更新文件数据。
   （2） 此时需要在同步主服务器上配置sersync服务。
   （3） 在另一台服务器开启rsync守护进程服务，以同步拉取来自sersync服务器上的数据。
   （4） 在另一台服务器开启rsync守护进程服务，使sersync push文件过来。

通过rsync的守护进程服务后可以发现，实际上sersync就是监控本地的数据写入或更新事件，然后，在调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器

实现步骤：
1、下载安装sersync
解压无需编译安装
安装包内的两个文件
confxml.xml sersync2
需备份配置文件 sersync2为启动可执行文件

2、配置sersync
cp confxml.xml confxml.bak
修改配置文件中24-28行

<sersync>
        <localpath watch="/var/www/html">    	#本地同步数据目录。
            <remote ip="修改过rsyncd.conf的主机ip 需要备份到这台主机的ip" name="配置文件中备份位置的名字"/>   #rsync模块名称

修改31-34行 认证(rsync密码认证)

<rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsyncuser" 这里要改true  	passwordfile="/etc/rsync.passwd"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>

3、开启sersync守护进程同步数据
/opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml

参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序

4、测试 可实时增删文件

rsync -avz /opt/backup/ rsyncuser@192.168.10.231::boot --password-file=/opt/rsync.pd

5、设置sersync监控开机自动执行
vim /etc/rc.d/rc.local #编辑rc.local文件，在最后添加一行
/opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml ＃设置开机自动运行脚本。
6、添加脚本监控sersync是否正常运行
vi /opt/check_sersync.sh #编辑脚本，添加以下代码。
#!/bin/sh
sersync="/opt /sersync/sersync2"
confxml="/opt /sersync/confxml.xml"
status=$(ps aux |grep ‘sersync2’|grep -v ‘grep’|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi
[root@xuegod63 ~]# chmod +x /opt /check_sersync.sh #添加脚本执行权限。
把这个脚本加到任务计划，定期执行检测。

总结：
我总结你个鸡儿
rsync概述
C/S推拉区分
rsync&sersync配置文件修改已实现实时同步