通过rsync+inotify实现服务器之间数据的实时备份

inotify+rsync实时备份,inotify+rsync同步备份mysql数据模拟,inotify功能和实现原理,rsync文件实时同步-~@Twang inotify+rsync实时备份环境准备简介原理A上操作1、安装EPEL2、安装inotify和rsync服务3、修改rsync的配置文件4、创建目录5、建立rsync用户名和密码文件,加权限6、启动服务,验证端口B上操作7、安装EPEL8、安装inotify和rsync服务9、设置客户端密码文件,修改权限10、编写脚本11、创建目录12、执行脚本13、进入相应的目录,创建文件14、切回到A上查验 环境准备 centos7两台,关闭防火墙和selinux A 备份端——192.168.112.153 【服 阅读详情

在上一篇博客中,我们只使用了rsync来实现数据的备份,但却不能做到实时,因为守护进程触发和执行有一段的时间间隔,如果对于数据量大的网站来说,一旦崩溃,就很难做到数据的完整性。在本篇文章中我们使用rsync+inotify的方式来解决这一问题。
inotify是一种强大的、细粒度的、异步的文件系统时间监控机制,Linux内核从2.6.13版本开始就加入了对它的支持,通过它可以监控文件系统中添加、删除、修改、移动等各种细微事件。
接下来使用rsync+inotify搭建实时同步系统:
现在有两台服务器:A服务器(网站服务器)、B服务器(备份服务器),当inotify工具检测到A服务器上文件发生变化时,就会检测差异,然后同步到B服务器上。
1、安装inotify工具inotify-tools

yum install inotify-tools

2、配置B服务器上的rsyncd.conf文件

# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

 uid = nobody
 gid = nobody
 use chroot = no
 max connections = 10
 strict modes = no
 pid file = /var/run/rsyncd.pid
 lock file = /var/run/rsyncd.lock
 log file = /var/run/rsyncd.log
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area
[betterlife]
path = /var/www
comment = betterlife file
ignore errors
read only = no
write only = no
hosts allow = *
list = false
uid = root
gid = root
auth users = backup
secrets file = /etc/server.pass

其中server.pass文件内容如下:

backup:密码

修改server.pass文件权限

chmod 600 /etc/server.pass

然后启动rsync守护进程

rsync --daemon

将rsync加入到自启问价中

echo "rsync --daemon" >>/etc/rc.local

3、配置A服务器
新建同步脚本

#!/bin/bash

inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib 监测目录 \
| while read files
        do
        rsync -vzrtopg --delete --progress --password-file=/etc/server.pass 同步文件目录   backup@服务器地址::模块名
                echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
        done

其中server.pass内容如下:

密码

修改脚本文件权限

chmod 755 /var/www/inotifyrsync.sh

运行该脚本,并放入到后台

./inotifyrsync.sh >>/var/www/inotifyrsync.log &

最后将该命令放入到自启文件中

echo "./inotifyrsync.sh >>/var/www/inotifyrsync.log &" >>/etc/rc.local

至此,实时同步系统就算搭建完毕,但在搭建过程中,遇到一个问题,就是,将A服务器文件rsyncd.conf中的用户名改成其他的名字,执行过程中会出现unauthorized user错误,但将用户名改为backup就不会出现该错误,也不知道是什么原因。
利用以上方式,结合crontab定时守护进程,可以完成定时数据库备份,并且将备份的数据库同步到另外一台服务器上去。
定时备份数据库代码如下:

cronab -e
0 0 * * 0  mysqldump -uroot -p密码 需要备份的数据库 >> 备份文件存放位置

文章来源:http://www.turtletl.com

rsync下行和下行传输 文章目录一,rsync简介二,rsync同步三,配置rsync源1.操作步骤2.rsync命令3.配置源的两种方法4.免交互格式四,inotify简介1.调整inotify内核参数2.使用inotify-tools辅助工具3.编写同步脚本五,配置reync下行同步六,rsync+inotify实时同步 一,rsync简介 rsync (Remote Sync,远程同步) 一款开源的快速备份工具 支持本地复制 也可以在不同主机(例如:其他SSH、rsync主机)之间镜像同步整个目录树,支持增量备份,并保持钳 阅读详情

相关推荐

linux 多服务器下目录数据文件实时同步

本文介绍了使用rsync和inotify实现主备服务器文件实时同步的配置方法。主要内容包括:1)在备份服务器安装配置rsync,设置认证文件并开放873端口;2)在主服务器安装inotify-tools监控文件变化;3)编写同步脚本实现文件变更时自动触发rsync同步;4)解决主服务器删除文件时备份服务器保留文件的问题。文中详细说明了安装步骤、配置文件内容及同步脚本编写方法,并提供了排除特定目录同步的实现方案。

zhmy_006的专栏 696

rsync+inotify实现数据的实时备份

一、rsync介绍 rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。 rsync功能: 1)作为命令,实现本地-远程文件同步 2)作为服务,实现本地-远程文件同步 rsync特点: 1)可以镜像保存整个目...

weixin_44596822的博客 425

Silvaco TCAD | 从PIN到APD:高性能光电探测器的仿真设计与优化

本文详细介绍了使用Silvaco TCAD进行光电探测器仿真设计与优化的全过程,从基础的PIN结构到高性能APD的实现。通过实战案例和代码示例,展示了如何优化器件参数、实现雪崩效应以及进行高级仿真分析,帮助工程师提升光电探测器的量子效率和响应速度。

weixin_29218509的博客 427

利用inotify和rsync服务实现数据实时同步

inotifywait: 在被监控的文件或目录上等待特定文件系统事件(open ,close,delete等)发生,常用于实时同步的目录监控(主要使用的就是这个工具)前两者的本质是通过本地或远程shell,而第3种方式则是让远程主机上运行rsyncd服务,使其监听在一个端口上,等待客户端的连接。inotify是系统内核的一个监控服务,属于操作系统内核的一个特有机制,用于监控文件的信息变化。inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计。

qq_38334677的博客 822

饥荒联机版Mod开发——modmain环境与API深度解析

本文深入解析饥荒联机版Mod开发中的modmain.lua环境与核心API,详细讲解环境表构建原理、API注册与调用时机,并提供高级开发技巧与最佳实践。通过源码分析和实际案例,帮助开发者掌握Mod开发核心技术,解决常见问题,提升开发效率与代码质量。

weixin_30312563的博客 433

用AnythingLLM搭建私人RAG知识库:从入门到实战调优指南

大型语言模型虽然知识渊博,但无法触达私有文档中的具体内容,这正是检索增强生成(RAG)技术的核心价值所在。RAG通过先将文档切块并向量化,再在提问时检索最相关的片段拼接给模型,让AI基于指定资料精准回答,无需昂贵的模型微调。这种架构不仅让知识更新即时生效,还大幅降低了私有化部署的门槛。在实际工程中,RAG的落地需要合理选择嵌入模型、设计分块策略并调优检索参数,才能避免答非所问。对于个人或小团队,使用开源工具搭建本地知识库是最省心的路径,其中AnythingLLM以其开箱即用的特性,成为连接向量检索与模型推理

weixin_29062671的博客 228

真正的inotify+rsync实时同步 彻底告别同步慢

背景 我们公司在用inotify+rsync做实时同步,来解决分布式集群文件一致性的问题。但当web文件越来越多(百万级数量html,jpg等小 文件),同步就越来越慢,根本做不到实时,按照网上的调优方法都尝试过,问题根本没有解决。经过我一翻细致研究,终于把慢的核心问题研究明白,先总结一句 inotifywait响应不会有延迟,rsync也很快。大家同样有慢的烦恼,那是因为网上的inotify+rsync的教程都是坑。下面我们来分 析。 inotifywait 单独分析 /usr/local/bin/in

zhaominyong的专栏 1077

从 Classic ABAP 到 ABAP Cloud:一份面向开发者的 SAP 学习路线图与实战指南

ABAP技术演进路线:从语法到架构思维 本文系统梳理了现代ABAP开发者的能力成长路径。在S/4HANA与云时代,ABAP已从传统过程式语言转变为支持面向对象、测试驱动和云原生开发的现代技术栈。学习路线应围绕四大核心维度展开:1) 语言基础(ABAP OO/Modern ABAP);2) 工程化实践(ABAP Unit/ATC/Clean ABAP);3) 数据建模(CDS/AMDP);4) 服务化架构(Gateway/OData/Fiori)。文章强调以交付形态倒推技术栈,通过真实案例展示了如何将零散技术

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 361

rsync + inotify 实现数据监控同步

rsync 和 inotify 实现数据实时同步

ysy910203的博客 752

【机器学习与数据挖掘实战 | 商务】案例03:基于k近邻算法的非侵入式电力负荷监测与分解的电力分析

本案例结合非侵入式电力负荷监测与分解的案例,重点介绍了在数据可视化的辅助下k近邻算法的应用。首先利用数据可视化寻找数据的特征,构建特征集合。然后构建k近邻模型,利用构建的特征集合训练模型,接着利用该模型对单一设备所属类别进行判定,最后计算实时用电量。

Morse_Chen的博客 2303

遥感图像地物覆盖分类,数据集制作-分类模型对比-分类保姆级教程

1.新建shp文件地理坐标系保持和影像一致,面类型2.打开属性表3.添加字段这里分类6类,点击添加值添加添加完毕开始人工选地物类型,制作数据集开始标注,标注的时候可以借助谷歌地图来看标记足够多的样本打开面转栅格工具设置nodata值为15。

热爱分享,热爱记录 2525

Rsync 数据备份工具

1、Rsync简介 2、数据备份简介 2.1 数据备份方式 2.2 数据备份架构 3、Rsync本地模式和远程模式 3.1 安装Rsync工具 3.2 rsync命令选项 3.3 本地模式用法 3.4 远程模式用法 4、Rsync服务模式 4.1 服务端配置 4.2 客户端配置 5、Rsync服务模式实战...

88Manchi的博客 2326

3D深度饼图的QT实现

首先,我们需要创建一个QT项目并创建一个窗口,用于显示我们的饼图。在QT Creator中,选择创建一个新的QT Widgets应用程序项目,并创建一个新的窗口类。在本文中,我将介绍如何使用QT实现一个3D深度饼图(Pie 3D)的可视化效果。在构造函数中,我们将创建一个饼图(QChartView)并设置饼图的数据。这是一个简单的示例,您可以根据需要自定义和扩展代码来创建更复杂的饼图。现在,我们已经完成了3D深度饼图的QT实现。您将看到一个具有相应数据的3D深度饼图显示在窗口中。3D深度饼图的QT实现。

CodeJolt的博客 277

linux rsync远程同步 | rsync+inotify实时同步 | 详细讲解

rsync远程同步 | rsync+inotify实时同步rsync简介同步方式:本地复制:rsync同步源配置rsync源 rsync简介 Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性。 Rsync软件适用于unix/linux/windows等多种操作系统平台。 Rsync是一个快速和非常通用的文件复制工具。它能本地复制,"远程复制,或者远程守护进程方式复制。它提供了大量的参数来控制其

Dark_Tk的博客 4540

【软考高项论文】论信息系统项目管理的干系人绩效域

例如,在处理与电信运营商合作铺设光纤网络的问题时,考虑到其在通信设施建设和运维方面的专业性和重要性,我们将之定位为高权力高利益的干系人,给予了高度关注和优先沟通。项目全程,我们对干系人绩效域的执行效果进行了定期检查和评估,通过定量与定性的数据收集,确认了项目在干系人管理上的成效,具体表现为:建立了稳固的工作关系网络,使干系人普遍认可项目目标;鉴于本项目牵涉到政府各级部门、企事业单位、市民团体、技术研发伙伴等多种类型的干系人,且干系人的诉求和影响力各异,因此,有序且持续的干系人参与管理显得尤为关键。

Programming Talk 1681

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

[Linux] 通过Rsync+Inotify实现本、异地远程数据实时同步

0x0 测试环境 总部生产服务器与分部备份服务器实现异地,环境如下 **centos 6.5** 生产服务器目录: /home/zytest/files 备份服务器目录: /home/zytest/files 用户 / 密码: zytest / zytest 0x1 生产服务器环境搭建 0x1.1 安装gcc编译器和rsync yum in...

weixin_42728126的博客 1288

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

rsync+inotify实现服务器数据实时备份

rsync+inotify

qq_43499430的博客 693

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

inotify+rsync建库目录文件发现增删改查并同步备份数据(实用工具)

两台centos7 需要备份的服务器 192.168.59.143 备份到 192.168.59.144 一、两台安装rsync yun -y install rsync 注意:1.在备份服务器上的rsync服务修改配置文件(只修改备份服务器的) vim /etc/rsyncd.conf 添加以下内容 uid=root gid=root use chroot = no max connections = 10 strict modes = yes pid file = /var/run/rsyncd.p

暴躁程序员的博客 2006

Ubuntu通过rsync和inotify实现双机热备

rsync+inotify双机热备

表达 交流 自省 完善 2054

实时同步inotify+rsync

目的,要求 nfs储存服务器与backup备份服务器,数据同步,万一nfs储存服务器挂了,数据还在 实时同步备份软件服务 1)inotify 实时同步软件 2)sersync 实时同步软件 实时同步原理过程 ①. 先看指定目录是否发生了数据信息变化 ②. 一旦产生变化,就利用rsync将变化的数据信息或者整个目录进行备份同步 ...

abc409944643的博客 101

linux之间通过rsync+inotify-tools实现自动实时备份

两台rhel5.6web服务器,上面跑的都是Apache,目录都是/va/www/html,现在想把线上的web数据实时备份到另外一台web服务器,即这个“另外一台web服务器”作为实时备用机器,这里我把线上的web机称为源服务器,作为实时备用的服务器称为目标服务器。 一般线上的各realserver服务器之间也是通过rsync+inotify方式实现实时同步实验过...

weixin_33755649的博客 123

数据实时同步inotify+rsync

可利用inotify+rsync构建的数据实时同步来实现 1.发布web站点 2.备份服务器 客户端:192.168.0.35 (发布站点,被备份的服务器) 服务端:192.168.0.36 (同步站点,备份服务器) 192.168.0.36配置: 安装软件: ...

chuojianpeng9484的博客 120

rsync和inotify实现文件的实时同步

用rsync和inotify实现文件的实时同步 在linux运维管理实际操作中,文件的备份,对每个系统管理者与电脑使用者来说都很重要,常见的方式,将文件传送至另一台电脑做备份,或者另存在动存储备份之外操作系统,实际应用中,为了数据文件的安全性,需要实时备份服务器上的文件数据. 目的是将192.168.4.8上 /home 目录的数据同步到192.168.7....

weixin_34138521的博客 100

搭建NFS主从数据实时同步

sersync 实时同步案例(sersync = inotify + rsync + nfs 实现NFS的实时同步) 服务器 IP地址 nfs.server 172.17.8.8 backup.server 172.17.8.18 client 172.17.8.17 NFS主从同步 数据的实时同步实现: 利用监控服务(inotify),监控同步数据服务器目录中信息的变化 发现目录中数据产生变化后,就利用rsync服务推送到备份服务器中 实现同步的方法: inotify+rs

weixin_58519482的博客 2076

rsync与crontab实现两台服务器数据自动备份

rsync与crontab实现数据备份功能 1.两台服务器规划 #!/bin/bash Backup_dir="/backup" IP_add=$(hostname -i) #create backup file mkdir -p $Backup_dir/$IP_add #tar backup_data cd / tar zchf $Backup_dir/$IP_add/system_backup_$(date +%F_week%w -d -1day).tar.gz ./var/spool/cron/

fiiber的博客 450

rsync + inotify 实现主机间数据实时同步的原理

一、rsync实现两台服务器数据同步的原理: Rsync 是基于rsync算法校验源(SRC)与目标(DEST)之间的差异实现数据同步的。也就是说,当使用rsync工具同步数据时候,只复制源(SRC)发生改变的文件,到目标(DEST),这类似于增量备份。所以rsync同步数据的速度是很快的。但是rsync的传输性能有点差,在海量小文件需要同步时,表现很差劲。因为r...

weixin_33950035的博客 244
上一篇: 通过rsync工具搭建简单的远程容灾备份系统
下一篇: centos服务器下配置nagios自动化运维工具
turtlell
博客等级 码龄14年 7粉丝 25原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值