通过rsync工具搭建简单的远程容灾备份系统

【运维项目经历|020】RsyncPlus-高效数据同步与备份系统构建项目 项目背景: 随着公司业务的快速发展,数据量呈指数级增长,传统的数据同步与备份方案已无法满足高效、稳定、安全的数据管理需求。特别是在多服务器、多地域的分布式环境中,数据的一致性和备份的可靠性成为了一个重要的挑战。因此,我们决定基于rsync技术,打造一个高效数据同步与备份系统,以提升公司数据管理能力。 项目目标: 实现跨服务器、跨地域的高效数据同步。 提供灵活的数据备份策略,确保数据安全。 监控数据同步与备份过程,提供实时反馈和告警。 简化操作,降低运维成本。 阅读详情

假定有两台服务器 A、B
其中A系统作为网站服务器,B作为远程容灾备份机。
远程容灾备份系统就是将A系统的数据通过守护进程定时备份到B服务器上,从而实现数据的远程容灾。
1、在A系统上配置rsync
修改/etc/rsyncd.conf文件,配置内容如下:

# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

 uid = nobody
 gid = nobody
 use chroot = no
 max connections = 10
 pid file = /var/run/rsyncd.pid
 lock file = /var/run/rsyncd.lock
 log file = /var/run/rsyncd.log
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area
[turtletl]
path = 需要备份的目录
comment = blog file
ignore errors
read only = no
write only = no
hosts allow = *
hosts deny = 
list = false
uid = root
gid = root
auth users = 用户名
secrets file = /etc/server.pass

其中/etc/server.pass文件的内容如下:

用户名:密码

然后改变server.pass文件的权限

chmod 666 /etc/server.pass

2、启动rsync守护进程

rsync --daemon

3、在B系统上配置rsync
在B系统上不需要做任何配置,只需在/etc下创建一个server.pass文件,内容为A系统中server.pass中的密码即可,并且改变权限为600,同时执行以下命令就可以完成手动备份:

rsync -vzrtopg --delete --progress --exclude "*access*" --exclude "debug*" 用户名@A服务器地址::A系统rsyncd.conf文件中的模块(如turtletl) 备份文件存放位置 --password-file /etc/server.pass

4、设置定时备份策略
假定客户端rsync在每天凌晨3点30分执行镜像备份操作,在B服务器上执行“crontab -e”,然后添加如下信息即可:

30 3 * * * rsync -vzrtopg --delete --progress --exclude "*access*" --exclude "debug*" 用户名@A服务器地址::A系统rsyncd.conf文件中的模块(如turtletl) 备份文件存放位置 --password-file /etc/server.pass

至此一个简单的远程容灾备份系统就算是搭建好了,但是这并不是一个完美的容灾方案。
文章来源:http://www.turtletl.com

AD20/Altium designer——如何进行DRC检查、冲突的错误如何改正 对于一个画完的PCB,我们常常需要进行DRC检查,确保板子的电器连接及制作工艺在设定规则的范围内,本篇将介绍如何对PCB进行后期DRC检查处理,确保电路板出现不必要错误。 1.DRC检查入口 2.DRC设置 3.错误分析 对于错误的内容,依据个人实际情况不同,其出现的原因都是因为与设计规则中的设定标准冲突,这里按遇到的错误进行修改讲解,其他错误同理。 4.常见错误分析及解决方法 (1) 解决方法:将未连接网络连接(... 阅读详情

相关推荐

PDN设计

作者:AirCity 2020.2.6 Aircity007@sina.com 本文所有权归作者Aircity所有 PDN设计的目的是降低电源纹波水平,减小电压跌落。我们通常要求LDO的文波水平是30mV,DCDC是50mV,超过这个就需要PDN设计。 PDN设计的方法是用不同的容值,合适的总电容量,降低电源平面与地平面之间的交流阻抗,确定容值总量和电容大小的过程,就是PDN设计过程。 为什么需...

AirCity123的博客 4146

Rsync数据同步与增量备份从本地到异地容灾

Rsync是Linux下最强大的文件同步工具,支持增量传输、压缩传输、断点续传。本文将详解Rsync的使用方法和异地备份方案。场景命令本地备份远程推送远程拉取增量备份限速同步最佳实践使用SSH密钥免密登录设置定时任务自动执行配置限速避免影响业务保留多份历史备份定期验证备份可恢复。

在代码的世界里,每天进步1% 892

【腹腔镜数据集】Cholec80+CholecSeg8k2020+Endoscapes2024

计算机辅助手术的发展旨在提高手术的正确性和安全性。然而,研究人员和工程师却面临着开发和训练更好算法所需的注释数据有限的问题。因此,同步定位与建图(SLAM)等基础算法的发展受到限制。基于Cholec80数据集,从Cholec80中的17个视频片段中提取了8,080个腹腔镜胆囊切除术图像帧,对图像进行注释并向公众发布。该数据集名为 CholecSeg8K。这些图像中的每一个都以十三个类别的像素级注释,这些类别通常在腹腔镜胆囊切除术中发现。

Toky_min的博客 2017

rsync 搭建容灾备份系统

假定有AB两个linux系统A系统做为服务器端,B系统作为备份机,需要在啊AB上都安装rsync软件,这样在A系统上运行rsync守护进程,在B系统通过守护进程crontab来定时备份有A系统指定的数据,从而实现数据的备份。服务器端的配置1.通过命令查看rsync是否安装2.修改rsync的配置文件(rsyncd.conf)rsync的配置文件为/etc/rsyncd.con...

weixin_33898876的博客 178

UWB灵犀遥控器方案介绍

UWB灵犀指向遥控器的技术原理和方案介绍

xiongdauwb的博客 3898

GitHub工业级开源利器:StreamPipes如何简化工业物联网数据分析

Apache StreamPipes是一款GitHub上的工业级开源利器,旨在简化工业物联网数据分析。它通过图形化界面连接各类工业协议数据源,以拖拽方式构建流处理管道,并实现实时可视化,有效降低了数据分析的技术门槛,让业务人员也能自助完成从数据接入到洞察的全流程。

weixin_29279153的博客 170

【容灾系统搭建】网络杂谈(1)之容灾系统如何搭建?

什么是容灾,容灾系统的建设,容灾系统的结构模型,容灾平台。深入了解容灾技术。

赏樱看雪撸代码 1015

量子密钥分发系统设计与实现(一):系统基本架构讨论

本文主要对量子密钥分发系统中的基础架构和基于系统的量子密钥协商过程进行了初步讨论,为后期系列文章进行铺垫。

量子领域相关话题 3891

windows server系统整体备份及恢复

windows 备份及恢复

weixin_44923267的博客 2万+

从零开始:用LabVIEW和ModbusTCP协议,像搭积木一样连接Delta PLC

本文详细介绍了如何利用LabVIEW的图形化编程环境和ModbusTCP工业协议,快速连接Delta PLC实现数据通信。通过模块化配置和实战案例,指导读者无需编写复杂代码即可完成寄存器读取、多数据类型处理及系统监控,显著提升工业自动化项目的开发效率与部署速度。

n8m7b6v5c4的博客 693

使用 Python 爬虫获取中国证券市场公司公告数据

本文详细介绍了如何使用 Python 爬虫技术从中国证券市场(如巨潮资讯网)爬取公司公告数据。通过分析网页结构,编写爬虫脚本,抓取并存储公告信息,我们实现了从网页抓取数据的全过程。此外,本文还展示了如何应对反爬虫机制,并介绍了数据分析与可视化的基本方法。未来,我们可以通过机器学习等技术进一步挖掘公告中的潜在信息,例如,通过情感分析对公告内容进行情绪分类,或者预测某些公告类型对股市走势的影响等。希望本文能帮助你理解如何使用 Python 爬虫技术获取和处理证券市场的数据,并为你的数据分析项目提供帮助。

2201_76125261的博客 1887

Rsync 搭建远程容灾备份系统

rsync是什么? rsync是Linux/UNIX系统下的文件同步和数据传输工具,它采用了“rsync算法”使一个客户机和远程文件服务器之间的文件同步。可以将同一个服务器的数据从一个分区备份到另一个分区,也可以将本地系统的数据通过网络传输方式备份到任何一个远程主机上;rsync可以在中断后恢复传输;rsync只传输源文件和目标文件之间不一致的部分;rsync可以执行完整备份或增量备份。 rs...

小米bb的博客 431

【推荐100个unity插件之27】推荐5种办法实现unity人物布料系统 衣服裙子飘动 头发飘动 胸部抖动 骨骼模拟 配件摆动 尾巴摆动 —— 主要是Magica Cloth 2插件

要实现Unity中的人物布料系统并使其具备动态效果,可以探索多种技术方法。这些方法不仅可以使衣服、裙子、头发等元素自然飘动,还可以实现胸部抖动、骨骼模拟、配件摆动和尾巴摆动等细致效果。本文将深入探讨五种实现这些动态效果的技术方案,从基础的物理模拟到高级的动画控制,帮助你打造逼真的人物表现。本文主要探究Magica Cloth 2的使用,因为我想探究最好的实现方法,而不是探究最多的实现方法。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 6296

rsync搭建远程容灾备份系统

Rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。 rsync的优点: ①可以镜像保存整个目录树和文件系统;②可以很容易做到保持原来文件的权限、时间、软硬链接等;③无须特殊权限即可安装;④优化的流程,文件传输效率高;⑤可以使用rsh、ssh等方式来传输文件,当然也可以通过...

weixin_33895604的博客 205

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

CentOS下使用rsync crontab搭建远程容灾备份系统

案例描述: 某电子商务网站,Web服务器的操作是Linux,网站数据每天会增加,为了保证数据安全,需要建立一个远程容灾系统,将网站数据在每天凌晨3点30分备份到远程容灾服务器上。由于数据量很大,每天只能进行增量备份,即仅仅备份当天增加的数据,当网站出现故障后,可以通过备份最大程度的恢复数据。 解决方案 这里假定有A、B两个linux系统,A系统作为网站服务器,B系统作为A的远程容

764

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

搭建远程容灾备份系统

搭建远程容灾备份系统 操作系统:centos 5.8 A系统IP地址:192.168.0.189 B系统IP地址:192.168.0.196 1:在A,B上安装rysnc: [root@varnish ~]# tar zxvf rsync-3.0.9.tar.gz [root@varnish ~]# cd rsync-3.0.9 ...

weixin_34055787的博客 269

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

数据镜像备份工具rsync + inotify

数据镜像备份工具rsync + inotify 一、rsync介绍: rsync是Unix下的一款应用软件,它能同步更新两处计算机的文件与目录,并适当利用差分编码以减少数据传输。rsync中一项与其他大部分类似程序或协定中所未见的重要特性是镜像对每个目标只需要一次传送。rsync可拷贝/显示目录属性,以及拷贝文件,并可选择性的压缩以及递归拷贝。 在常驻模式(...

weixin_34204057的博客 162

rsync备份文件

rsync有4种应用模式,第一种是shell应用模式,也称本地模式;第二种是远程shell模式,第三种是查询模式,与ls命令功能类似;最后一种是服务器模式,平时说的rsync服务器就是指这种模式.搭建远程容灾备份系统就是使用rsync服务器模式.系统环境操作系统:centos5.3A系统IP:192.168.12.253B系统IP:192.168.12.2311.A系统是配置...

weixin_33834075的博客 105

rsync+Cront搭建数据镜像备份系统

为了更兼清楚的介绍rsync服务器模式的使用方法,这里通过一个企业案例,介绍如何搭建一个远程容灾备份系统。 案例描述         某互联网企业有一个git服务器,git服务器的操作系统是Linux,git代码仓库的数据每天都会增加。为保证数据的安全,需要建立一个远程容灾系统,将git代码仓库的数据在每天凌晨1点备份到远程的容灾服务器上。由于数据量不是很大,每天只能进行增量备份,即仅仅备份当天增...

Vic的博客 589

Rsync服务器配置,安装、配置、实例以及原理详解(一)

一、什么是rsync二、rsync的功能特性三、编译安装rsync软件四、rsync的应用模式五、rsync 借助ssh通道技术案例六、企业案例一:搭建远程容灾备份系统练习一推送文件方式同步并排除指定的目录和文件练习二测试主机之间数据完全同步(无差异同步)练习三rsync多目录多模块同步配置防火墙允许rsync服务附加一:rsync服务端部署流程回顾附加二:rsync自我模拟...

weixin_34128501的博客 609

Rsync 文件同步和数据传输软件配置

一、下载与安装rsync软件 软件下载地址:http://rsync.samba.org #Tar zxvf rsync-3.X.X.tar.gz #Cd rsync-3.x.x #./configure #Make #Make install 二、Rsync的应用模式 1.本地shell 模式:主要用于复...

leixufeng_sz的专栏 211

rsync+inotify搭建实时同步系统

rsync简介 rsync是Linux和UNIX系统下的文件同步和数据传输工具,它采用了“rsync”算法使一个客户机和远程文件服务器之间的文件同步,它不同于cp和wget命令完整复制的局限性,它支持增量备份,因此文件传输效率高,因而同步时间很短,具体特性如下: 1、可以镜像保存整个目录树和文件系统 2、可以增量同步数据。文件传输效率高...

weixin_34026484的博客 99

数据镜像工具备份rsync与unison学习笔记(更新中)

数据镜像工具备份rsync与unison(高性能linux服务器架构) 1.rsync简介 代替传统CP命令或者Wget备份命令来实现本地镜像和远程备份的软件。 1.1 什么是rsync Rsync是Linux/UNIX/windows系统下的文件同步和数据传输的工具,他采用”rsync算法”使一个客户机和远程文件服务器之间的文件同步。支持断点续传,可以支...

weixin_34112900的博客 299

rsync 服务器端配置和客户端的使用

这边主要给大家介绍的是服务器模式服务器模式:这种模式是基于C/S模式的,在这种模式下,rsync在后台启用了一个守护进程,这个守护进程在rsync服务器永久运行,用于接收文件传输请求,因此,客户端既可以把文件发给守护进程,也可以向守护进程请求文件。rsync的服务器模式非常适合为异地的中心备份服务器或数据异地存储库来使用。企业案列: 搭建远程容灾备份系统为了保证数据安全,需...

weixin_34253539的博客 236

文件复制和同步命令小结

日常运维工作中,不可避免的需要在主机之间进行文件的复制和传输。笔者为了使用方便简单的总结了一下linux下常用的文件复制和获取的命令。1.主机内文件复制命令cpcp ( copy files and directories )cp [OPTION] SOURCE DEST-a以存档的模式保存原有文件的所有属性信息-p保存原有文件的权限及时间-r递归的复制...

weixin_33878457的博客 203
上一篇: mysql导出为CSV的同时加上表头
下一篇: 通过rsync+inotify实现服务器之间数据的实时备份
turtlell
博客等级 码龄14年 7粉丝 25原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值