linux rsync文件远程增量同步、编写集群文件同步脚本xsync.sh

rsync增量同步文件用法实践 rsync rsync: remote sync,远程同步,用于在本地机器及远程机器之间同步数据。 对于本地机器之内,同步数据使用cp即可。 对于本地与远程,使用scp即可。 但上面两个命令同步数据时一般是无脑覆盖文件,而rsync则不会直接覆盖以前的数据(如果数据已经存在),而是先判断已经存在的数据和新数据的差异,只有数据不同时才会把不相同的部分覆盖。 怎么判定文件有改动呢?默认是检查文件大小和最后修改时间是否一致,如果一致则认为无变动,不会传输该文件,如果不一致则同步。 对于想让两台机器某个目录一致的 阅读详情


1. rsync简介

  rsync 即remote sync(远程同步),实现本地主机和远程主机上的文件同步,但不能实现远程路径1到远程路径2之间的同步(使用scp)。使用 rsync 命令备份数据时,不会直接覆盖以前的数据(如果数据已经存在),而是先判断已经存在的数据和新数据的差异,只有数据不同时才会覆盖

安装rsync:

yum install -y rsync

检测rsync:

rpm -qa|grep rsync

2. rsync语法

rsync    -av       目录/文件名            远程主机用户名@主机ip或域名:目录/文件名

参数说明:

选项功能
-a归档拷贝
-v显示复制过程

3. 编写集群文件同步脚本xsync.sh

集群服务器为lab-cdh-ylxx0、lab-cdh-ylxx1、lab-cdh-ylxx2(前提:配置ssh免密登录)

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in lab-cdh-ylxx0 lab-cdh-ylxx1 lab-cdh-ylxx2
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done


rsync增量备份工具 rsync 远程同步rsync(Remote Sync,远程同步) 是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用。在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限。rsync支持本地复制,或者与其他SSH、rsync主机同步。 阅读详情

相关推荐

使用 Rsync 实现远程同步,以及实时同步

Rsync 全称为:Remote Sync(远程同步),是一款开源的快速备份工具,可以在不同主机间镜像同步整个目录树,支持增量备份,保持链接和权限,采用优化的同步算法,传输前执行压缩,适用于异地备份,镜像服务器等应用。

愿许浪尽天涯的博客 8844

Flink从入门到精通

本课程从0到1进行Flink的介绍,对当下最火的大数据技术Flink进行深入解析,并结合实际电商项目快速掌握Flink的开发技术。

Linux服务器文件实时同步:rsync+sersync原理、部署与生产环境调优

文件同步是运维和数据备份领域的基础技术,其核心目标是确保不同服务器或存储节点间的数据一致性。传统定时同步方案存在数据实时性差、恢复点目标(RPO)长等痛点。基于inotify机制的实时文件监控技术应运而生,它通过监听内核文件系统事件,实现了文件变化的即时感知。结合高效的增量同步算法,如rsync的滚动校验和差异传输,可以在极低带宽消耗下完成数据同步,为构建高可用架构、分布式存储和灾备体系提供了关键技术支撑。本文聚焦于rsync与sersync的组合方案,深入解析其监控触发与增量同步的协同原理,并提供从环境准

weixin_33726313的博客 399

rsync实时同步

rsync+inotify的部署配置

George的博客 1215

StarRocks_3.4.10存算一体部署与SeaTunnel 同步mysql数据手册

StarRocks 3.4.10 存算一体部署手册,包含节点故障演练,自动切换功能测试,包含SeaTunnel 自动同步mysql数据测试。

qq_48816825的博客 586

警惕!数字签名伪造的攻防演练:用SigThief克隆证书的真实测试(Windows环境)

本文深入探讨了Windows环境下数字签名伪造的攻防技术,详细介绍了使用SigThief工具进行签名提取与克隆的实战步骤。通过真实测试案例,揭示了数字签名安全机制的潜在漏洞,并提供了有效的防御策略和检测技术,帮助安全人员提升系统防护能力。

weixin_42530732的博客 408

xsync 集群同步脚本

scp 和rsync均是远程拷贝, rsync 远程分发 xsync 集群分发脚本 循环复制文件到所有节点相同的目录下 新建一个脚本 touch xsync.sh vim xsync.sh #!/bin/bash # $#:表示传递给脚本或函数的参数个数。 #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if((pcount==0)); then echo no args...

Source_00的博客 5082

GCdepth散点图绘制

基因组组装完成后,需要对组装结果进行评估,其中GC_depth图是一个比较重要的指标,改图的横坐标是GC含量,纵坐标是平均深度。以30k为窗口(window)无overlap计算其GC含量和平均深度。如果存在样品污染,通常能够从GC含量分析中呈现出来。下文探索了几种绘制GC_depth散点图的方法思路。

huangliangbo的专栏 8993

rsync

以下是rsync系列篇: 1.rsync(一):基本命令和用法 2.rsync(二):inotify+rsync详细说明和sersync 3.rsync算法原理和工作流程分析 4.rsync技术报告(翻译) 5.rsync工作机制(翻译) 6.man rsync翻译(rsync命令中文手册) 2.1 说在前面的话 rsync官方网站: https://www.samba.org/ftp/r...

建伟博客 2907

普元EOS8.3精简版安装指南:从零开始搭建低代码开发环境

本文详细介绍了普元EOS8.3精简版的完整安装流程。从JDK1.8环境准备、MySQL数据库配置与初始化,到核心配置文件修改、服务启动与登录验证,提供了从零开始搭建低代码开发环境的清晰步骤和常见问题排坑指南,帮助开发者快速部署并体验平台核心功能。

ik678901的博客 1101

STM32F407控制舵机

STM32F407控制舵机运行 使用STM32F407控制舵机,首先来看下舵机图片 [黑红白,黑线接GND,红线接VCC,信号线接白色线(有的舵机线的颜色不同,例如褐色红色橘色,仅颜色不同接法还如上述)] 舵机需要信号的周期为20ms,即频率为50Hz。 接下来正式操作: 步骤一:STM32F4程序(本次程序的PWM信号产生的周期频率由定时器TIM14通道1产生(TIM14_CH1),想要使用其它定时器也没关系下面会讲到) #include "pwm.h" void TIM14_CH1_PWM_In

Ievn_Hare的博客 1万+

Linux 服务器之间 传输文件 目录 scp rsync 不覆盖相同文件

Linux 服务器之间 传输文件 目录 scp rsync 简介 同一台机器上复制文件,使用cp命令 -r,复制目录 -n ,跳过相同的文件 不同机器之间,scp,rsync 如果想要不覆盖源文件,使用rsync scp # 文件传输 本地 ---> 另一台 scp -r 文件名 root@202.112.x.xx:/home/work/文件名 # 文件传输 另一台 ---> 本地 scp -r root@202.112.x.xx:/home/work/文件名 . r,传输目录 rs

dujidan的博客 9893

Palabos User Guide中文解读 | 第五章 | Palabos编程 (跳过了第四章Palabos-Java接口)

作者的话:本人在学习palabos时,发现国内中文资料甚少,恰好网上可以直接搜到palabos user guide这种英文资料,加之时间充裕,便打算开始翻译,翻了一节后发现这可能算侵权,就比较伤脑筋,突然想到自己写中文解读即可,便有了下面的博客。 Palabos User Guide Release 1.0 r1 Copyright © 2019 University of Geneva Jul...

Yulan Fang's notes. 2297

linux远程覆盖文件失败,Linux远程备份工具Rsync使用案例

参考 : http://www.thegeekstuff.com/2010/09/rsync-command-examples/注:下面所有例子中 – - 之间实际上是没有空格的,使用时请删除空格。Rsync是一个远程数据同步工具,可通过LAN 或互联网快速同步多台主机间的文件。Rsync 本来是用以取代 rcp的一个工具,它当前由 rsync.samba.org 维护。Rsync 使用所谓的”R...

weixin_39625864的博客 309

一篇NS SAR ADC的学习记录

一篇NS SAR ADC的学习记录 内容包含: OverSampling Noise Shaping Dynamic Amplifier DAC with Redundancy 最近看了些有意思的SAR ADC结构,但是因为确实对模拟这个领域不太熟,导致了一系列的级联查找,最终达到了一个大概能懂的状态,为了理清思路,顺便别让看了这么些天的东西浪费了,还是计划写篇文章。 ps:由于不是一篇特别正紧的报告,参考文献就写的比较随便,且我还是个做数字的 A 13.5-ENOB, 107-μW Noise-Sha

weixin_45669724的博客 8709

从入门到精通!Arduino 全栈开发深度指南

本文围绕 Arduino 开发撰写全攻略,从基础入门到高级应用层层递进。开篇介绍 Arduino 概念、优势及硬件家族,引导读者完成开发环境搭建与首个 LED 闪烁项目;深入讲解编程语法、I/O 控制及通信协议;详细阐述传感器、模块应用与调试优化技巧;最后以自定义库开发、低功耗设计等高级内容收尾,并给出综合项目案例与产品化思路。无论新手入门,还是开发者进阶,均可从中系统学习 Arduino 知识,掌握从理论到实践的全流程开发技能。

邓邓子的博客 2754

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

rsync命令介绍与使用案例

Rsync命令是一个常用的用于文件传输和同步的工具,rsync 可以理解为 remote sync(远程同步),为了减少网络数据发送量,只发送源文件和目标文件之间的差异信息,从而实现数据的增量的复制。它不仅可以远程同步数据(类似于 scp 命令),还可以本地同步数据(类似于 cp 命令)。不同于 cp 或 scp 的一点是,使用 rsync 命令备份数据时,不会直接覆盖以前的数据(如果数据已经存在),而是先判断已经存在的数据和新数据的差异,只有数据不同时才会把不相同的部分覆盖。

lurenyi168的专栏 3072

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Rsync远程同步

目录 rsync介绍 rsync的一些选项 rsync远程同步实现 修改配置文件 为备份账户创建数据文件 rsync实时同步(inotify) 实际操作 rsync快速删除大量文件 总结 rsync介绍 在 Linux 系统下,数据备份的工具很多,除了tar、cpio、dd 命令之外,还有一个用来备份数据的命令,就是rsync。 ...

小柏ぁ的博客 2015

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

rsync快速增量备份工具

rsync ( Remote sync,远程同步)是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用。在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限。

搬着砖,敲着代码的博客 1279

企业级数据实时备份(附通用脚本) rsync+sersync

Rsync功能类似于scp,但是优于scp,还具有本地不同分区目录之间全量 及增量备份。

zzixwx的博客 487

rsync 命令以及脚本使用

rsync 是一个远程同步工具。

惊鸿的博客 785

配置xsync 和写xsync配置文件的两种方法!!怎么设置免密?…… Linux虚拟机scp命令、rsync命令与xsync命令的使用和具体实现

scp可以实现服务器与服务器之间的数据拷贝(from server1 to server2)2.基本语法rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

2201_75806156的博客 1733

使用 rsync 进行服务器文件同步与优化

通过 Rsync 工具,你可以轻松地在两台 Linux 服务器之间同步文件。本文详细介绍了从准备工作到配置 SSH 无密码登录,再到使用 Rsync 进行文件同步的整个过程。通过掌握这些知识,你可以高效地管理和同步服务器上的文件。如果你有任何问题或需要进一步的帮助,请随时联系我。

dnpao的专栏 1761

Linux中_使用rsync_命令_快速批量_替换_同步_复制更新_文件夹_文件

Linux中_使用rsync_命令_快速批量_替换_同步_复制更新_文件夹_文件

qq_44681788的博客 3023
上一篇: linux Shell脚本指南(条件判断、expr执行运算、流程控制、使用函数处理文件、cut、awk、sort、邮件发送) 删除文件脚本 读可用内存发送邮件脚本
下一篇: jvm oom内存溢出,导出dump,使用mat进行问题分析
但行益事莫问前程
但行益事莫问前程 新星创作者: 数据库技术领域 新星创作者: 数据库技术领域
博客等级 码龄7年 8490粉丝 225原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值