rsync软件 rsync log日志时间与系统时间差8小时问题处理

最新推荐文章于 2025-04-29 11:28:23 发布
最新推荐文章于 2025-04-29 11:28:23 发布
阅读量2.1k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： # linux 文章标签： rsync sersync centos7 linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhrzhl/article/details/109332404
本文介绍了一种使用rsync进行远程实时同步备份时遇到的日志时间偏差问题及其解决方案。通过修改系统的环境变量，成功将rsync日志的时间与实际时间对齐。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境：

用rsync+sersync配置远程实时同步备份，两边配置完成，正常同步。后发现同步日志rsync.log时间比系统时间慢8个小时问题，如下：

系统时间信息：

[root@rsync ]# timedatectl

      Local time: Wed 2020-10-28 14:38:55 CST
  Universal time: Wed 2020-10-28 06:38:55 UTC
        RTC time: Wed 2020-10-28 06:27:57
       Time zone: Asia/Shanghai (CST, +0800)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

time文件：

[root@rsync 427]# ls -l /etc/localtime 
lrwxrwxrwx. 1 root root 35 Oct 27 17:17 /etc/localtime -> ../usr/share/zoneinfo/Asia/Shanghai

[root@rsync 427]# date
Wed Oct 28 14:39:28 CST 2020

rsynclog日志文件信息：

2020/10/28 03:33:50 [14630] connect from sersync (192.192.101.96)
2020/10/27 19:33:50 [14630] rsync to docshare/ from rsyncuser@sersync (192.192.101.96)
2020/10/27 19:33:50 [14630] receiving file list
2020/10/27 21:02:34 [14630] sent 1906166 bytes  received 157271577 bytes  total size 545619813056
2020/10/28 05:03:50 [15569] connect from sersync (192.192.101.96)
2020/10/27 21:03:50 [15569] rsync to docshare/ from rsyncuser@sersync (192.192.101.96)
2020/10/27 21:03:50 [15569] receiving file list
2020/10/27 22:48:52 [15569] sent 1905998 bytes  received 157271429 bytes  total size 545619813056

解决办法：

修改/etc/profile文件，添加export TZ=‘CST-8'

source  /etc/profile 使修改立即生效。

再查看日志时间rsync.log，显示正常，如下：

2020/10/28 14:32:53 [21159] rsyncd version 3.1.2 starting, listening on port 873
2020/10/28 14:33:07 [21170] connect from sersync (192.192.101.96)
2020/10/28 14:33:07 [21170] rsync to docshare/ from rsyncuser@sersync (192.192.101.96)
2020/10/28 14:33:07 [21170] receiving file list

再次查看timedatectl，发现有告警，不知道有没有影响，待测

[root@rsync 427]# timedatectl
Warning: Ignoring the TZ variable. Reading the system's time zone setting only.

      Local time: Wed 2020-10-28 14:38:55 CST
  Universal time: Wed 2020-10-28 06:38:55 UTC
        RTC time: Wed 2020-10-28 06:27:57
       Time zone: Asia/Shanghai (CST, +0800)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

rsync远程同步+inotify实时同步部署
2301_77369997的博客
08-01 1098
Rsync（Remote Sync）是一个功能丰富、快速和灵活的文件复制和同步工具。它以增量复制的方式工作，能够仅复制源和目标之间发生变化的文件或部分文件，从而减少了数据传输的时间和网络带宽的消耗。Rsync 使用一个特殊的算法来识别文件的差异，并仅传输发生变化的部分，以实现高效的文件同步和备份。它还支持多种模式和选项，使其非常适应各种不同的应用场景。① rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。
rsync+inotify文件增量同步
菜鸟运维升级之路
10-24 932
rsync是一种强大的命令行工具，用于在本地或远程计算机之间进行文件同步,确保文件的准确性，它可以将文件从一个位置同步到另外一个指定文职，同时在同步过程中节约带宽和存储空间。
rsync-time-backup：使用rsync进行Time Machine样式备份
01-30
Rsync时间备份 该脚本使用rsync提供Time Machine风格的备份。 它将创建文件和目录的增量备份到您选择的目的地。 备份的结构使得在任何时间点都可以轻松恢复任何文件。 它可以在Linux，macOS和Windows（通过WSL或Cygwin）上运行。 与Time Machine相比，它的主要优势是灵活性，因为它可以在任何文件系统之间进行备份，并且可以在任何平台上运行。 例如，您也可以毫无问题地备份到Truecrypt驱动器。 在macOS上，与Time Machine相比，它具有一些缺点-特别是在插入备份驱动器时它不会自动启动（尽管可以使用启动代理来实现），它需要一些命令行知识，并且没有提供了特定的GUI来还原文件。 而是可以使用任何文件浏览器（包括Finder）或命令行来还原文件。 安装 git clone https://github.com/laurent22/rsync-time-backup 用法 Usage: rsync_tmbackup.sh [OPTION]... <[USER@HOST:]SOURCE> <[USER@HOST:]DESTINATIO
rsync命令详解与实用案例
最新发布
lswzw的博客
04-29 2110
rsync凭借其增量传输、压缩优化和灵活配置等特性，已成为Linux环境下文件同步的首选工具。从基础语法到高级配置，rsync提供了丰富的功能满足各类同步需求。在实际应用中，应根据场景选择合适的同步模式：本地同步适合小规模数据管理，SSH同步适合跨服务器安全传输，守护进程模式适合内网高效同步。定时同步与实时同步各有优势：定时同步适合周期性备份，实时同步适合需要即时响应的场景。两者可结合使用，例如每日定时全量备份，辅以inotify实现实时增量同步。同步频率设置应平衡数据一致性需求和系统资源消耗。
收藏： Rsync详解
{'name':'hqman','type':'宅男'}
12-11 343
Rsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 　　Rsync本来是用于替代rcp的一个工具，目前由rsync.samba.org维护，所以rsync.conf文件...
一次rsyslog与crontab与系统时间差8小时问题的处理
wywdtx的专栏
11-06 2890
最近碰到一次奇怪的故障，系统时间显示对的，但syslog日志，以及crontab的调用时间与系统的时间差8小时，系统时区使用的是东8区 TZ设置为 Asia/Shanghai 补充于2018年12月12日：今天发现另一原因，系统升级过glibc /usr/local/glibc-2.14/etc/localtime  这个文件中是无时区的，cp /etc/localtime到/usr/loca...
Rsync详解
lxholding的专栏
09-26 2229
1、什么是RsyncRsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。　　Rsync本来是用于替代rcp的一个工具，目前由rsync.samba.org维护，所以rs
RSYNC . LOG .SCREEN
nongfuchui的博客
08-30 388
#rsync rsync同步命令和cp命令很相似，cp命令仅仅是拷贝覆盖，如果从源目标不断更新，cp命令就会浪费时间占用io资源。此时用rsync命令来增量同步(同样支持远程同步)。 ####拷贝 rsync -av 源文件/目录(SRC) 目标文件/目录)(DEST) ####远程拷贝 rsync -av 源目录/文件 目标用户@目标ip:目标文件/目录 rsync -av SR...
rsync+inotify远程实时同步部
Linux运维老纪的博客
06-13 1449
将 inotify 机制与 rsync 工具相结合，可以实现触发式备份（实时同步）——只要原始位 置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态，本章给大家分享使用rsync+inotifys实现数据远程同步的方法。
【企业级分布式系统】Linux-Rsync远程同步
Karoku的博客
11-07 1071
工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步。这个算法只传送两个文件的不同部分（通过差分编码实现），而不是每次都整份传送，因此速度相当快。通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。
rsync+inotify远程同步
weixin_67582338的博客
07-06 2084
目录前言一、Rsync 远程同步1.1 rsync 介绍1.2 rsync 同步方式1.3 rsync特性1.4 rsync与cp、scp对比1.5 rsync实时同步二、rsync 命令2.1 命令格式2.2 常用的参数2.3 rsync本地复制实例2.4 配置源的两种表示方法三、配置 Rsync 源服务器3.1 rsync 同步源3.2 配置 Rsync 下行同步3.2.1 配置环境3.2.2 将 server 服务器数据备份到 client 服务器 3.2.3 客户端
【Linux】Rsync基于rsync-daemon认证的使用（rsync服务端与客户端发配置、排错思路、使用示例、优缺点及使用场景）
Linux小白一只~正处于学习阶段，觉得我写的还好的请多多给我点赞呀,谢谢大家！！(๑＞ڡ＜)☆
02-12 2904
（rsync服务端与客户端的配置、rsync排错思路、rsync使用示例、rsync 的优缺点与适用场景、Rsync常见的两种备份方式、Rsync 应用场景、Rsync备份脚本示例）
rsyslog、logrotate切割保存日志日期不准确的问题
a_tu_的专栏
06-22 5239
相信用过rsyslogd  logrotate转存切割日志的同学，都会发现日志转存后的文件，会出现日期不准确的问题 例如：6月21号生成的日志，无缘无故转存到了6月22号的文件里，日期提前了一天。 又或者就算21号的日志转存到了21号的文件里，当你打开却发现里面的内容有20号。 经过几天的验证，终于发现有一种方法，几乎做到了安全按照每天来清晰的分隔日志。就在上篇文章中大致介绍了做法，
rsync服务应用、系统日志文件、screen工具
weixin_33744141的博客
12-06 175
2019独角兽企业重金招聘Python工程师标准>>> ...
rsync - 相关问题 - --log-file
gdfjhc的博客
02-23 1794
rsync - 相关问题 - --log-file
rsync, 系统日志, screen工具
tanyyinyu的博客
09-29 385
linux文件同步工具 - rsync 同步工具，比CP命令不同的地方是可以实现增量同步，减少很多无必要的网络流量和降低工作难度。 rsync -av /etc/passwd /tmp/1.txt #源文件passwd，同步成1.txt，-av可同步文件和目录，并看到同步的文件； rsync -av /tmp/rsyn1 172.16.92.142:/tmp/rsyn2/ #同步目录，这个...
rsync传输的文件的mtime与原文件不同的解决方法
weixin_34163741的博客
02-14 453
rsync 加上--size-only选项就可以了。这样重复执行同步相同文件的命令，只要文件的size一样就不会重复同步了！这是因为遇到了存储设备总是无法保留原文件的mtime，会按照新创建文件来处理，很是头疼。 转载于:https://blog.51cto.com/zhukeqiang/2350278...
日志记录中的时间同步问题
ZOMO的博客
12-20 1077
*时间同步问题**：是指日志记录系统无法正确识别和处理时间的状况。这可能导致日志数据的不准确、不完整，甚至出现错误。**日志记录**：是指通过网络设备、服务器等设备上记录的流量信息和事件。这些记录可以帮助我们了解网络的运行状态以及潜在的安全风险。
Linux学习-1101（rsync下、log、screen）
weixin_34418883的博客
11-20 193
2019独角兽企业重金招聘Python工程师标准>>> ...
三角洲dump
04-18
### Delta Dump 技术实现与数据处理 Delta dump 是一种增量备份技术，主要用于减少全量备份所需的时间和存储空间。它通过记录自上次备份以来发生的变化来完成这一目标。以下是关于 delta dump 的技术和数据处理的相关内容： #### 1. Delta Dump 的基本原理 Delta dump 的核心在于识别和保存自上次备份以来发生变化的数据部分。这种机制通常依赖于文件系统元数据或数据库中的变更日志。例如，在文件系统中，可以通过比较修改时间戳（mtime）、inode 或哈希值来检测变化；而在数据库场景下，则可能利用事务日志（Transaction Log）或二进制日志（Binary Log）。这种方法显著减少了重复数据的传输和存储需求[^4]。 #### 2. 实现细节 在实际应用中，delta dump 的实现涉及以下几个方面： - **差异计算**：使用算法（如 Rsync 算法）对比源数据和已有备份之间的差异，生成仅包含新增或更改部分的数据集。 - **压缩与优化**：为了进一步节省带宽和存储资源，通常会对差分数据进行压缩编码。常见的方法包括 Gzip、LZMA 和 Zstandard。 - **恢复策略**：当需要还原时，必须能够基于基础镜像以及一系列增量更新重建完整的原始状态。这要求设计良好的版本管理和合并逻辑。 对于 Java 应用程序而言，如果采用 Arthas 工具执行 heapdump 操作，则可通过参数控制是否只导出存活对象 (`--live`) 来模拟简单的增量行为[^1]。然而严格意义上的 delta dump 需要更复杂的跟踪机制。 #### 3. 数据处理流程 典型的 delta dump 数据处理过程如下所示： 1. 初始化阶段创建初始快照作为基线； 2. 定期扫描监控区域内的变动情况； 3. 提取出新产生的或者被改动过的片段形成增量包； 4. 将这些增量打包上传至远程服务器或其他持久化位置存档； 5. 清理本地缓存以释放空间并准备下次迭代。 下面是一个 Python 脚本示例演示如何构建简易版文件级 delta backup 功能: ```python import os import hashlib from datetime import timedelta, datetime def calculate_hash(file_path): hasher = hashlib.md5() with open(file_path, 'rb') as f: buf = f.read(65536) while len(buf) > 0: hasher.update(buf) buf = f.read(65536) return hasher.hexdigest() def generate_delta(base_dir, target_dir, output_file="delta.txt"): base_hashes = {} current_hashes = {} # Load hashes from previous run or initialize empty dict. try: with open(os.path.join(target_dir, ".hashes"), "r") as hashfile: for line in hashfile.readlines(): fname, hsh = line.strip().split(": ") base_hashes[fname] = hsh except FileNotFoundError: pass # Calculate current state of files. for root, dirs, files in os.walk(base_dir): rel_root = os.path.relpath(root, start=target_dir) for name in files: full_path = os.path.join(root, name) relative_name = os.path.normpath(os.path.join(rel_root, name)) current_hashes[relative_name] = calculate_hash(full_path) changes = [] now = datetime.now() # Compare states and record differences. for filename, cur_hash in current_hashes.items(): prev_hash = base_hashes.get(filename) if not prev_hash or prev_hash != cur_hash: action = "MODIFIED" if prev_hash else "ADDED" timestamp = (now - datetime.fromtimestamp( os.stat(os.path.join(base_dir, filename)).st_mtime)).total_seconds() / 60 changes.append(f"{action} {filename}, last modified {int(timestamp)} minutes ago.") removed_files = set(base_hashes.keys()) - set(current_hashes.keys()) for rm_file in removed_files: changes.append(f"REMOVED {rm_file}") # Save new snapshot. with open(os.path.join(target_dir, ".hashes"), "w") as hashfile: for fnm, hshtxt in current_hashes.items(): hashfile.write(f"{fnm}: {hshtxt}\n") # Write change log. with open(output_file, "a+") as logfile: logfile.writelines([f"[{datetime.strftime(now, '%Y-%m-%d %H:%M:%S')}]{line}\n" for line in changes]) if __name__ == "__main__": source_directory = "/path/to/source/" destination_directory = "/path/to/destination/" generate_delta(source_directory, destination_directory) ``` 此脚本会递归遍历指定目录树下的所有文件，并将其 MD5 散列值同之前保存的状态相比较找出任何增删改动作，最后把结果追加写入到指定的日志文档里去[^5]。 #### 4. 总结 Delta dump 不仅仅是理论概念，而是已经被广泛应用于各种领域的一项成熟技术。无论是操作系统层面还是应用程序内部都可以见到它的身影。理解其背后的运作机理有助于我们更好地运用这项工具解决实际问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

king_harry

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值