网络数据同步开发库libsync

最新推荐文章于 2024-11-06 11:24:50 发布
最新推荐文章于 2024-11-06 11:24:50 发布
阅读量1.4k 收藏
点赞数
分类专栏： C++
本文介绍了一种改进的数据同步算法，并将其封装为libsync动态函数库，用于文件切分、差异编码与同步操作。提供了三种文件切分算法：定长切分、内容定义切分和滑动块切分，以及差异编码与文件同步功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

"数据同步算法研究"一文提出了一种改进的数据同步算法，我在实现的原型系统基础上，将文件切分、差异编码、文件同步等关键算法抽取出来封装成动态开发库libsync，方便自己的开发应用。在本人开发的deduputil，WSIO, wsync等软件中，均使用了libsync动态函数库，现已将libsync发布至google code。libsync函数库由提供三个API，原型描述如下：

1、int file_chunk(char *src_filename, char *chunk_filename, int chunk_algo)
功能：对件进行切分生成分块描述文件。
参数：src_filename为切分文件，chunk_filename为生成的块信息描述文件，chunk_algo为文件切分算法，目前支持定长FSP切分(Ffixed-size partition)、CDC切分(content-defined chunking)和滑动块(sliding block)切分三种。

2、int file_delta(char *src_filename, char *chunk_filename, char *delta_filename, int chunk_algo)
功能：使用生成的块描述信息对文件进行差异编码。
参数：src_filename为待编码文件，chunk_filename为通过函数file_chunk生成的块描述文件，chunk_algo为文件切分算法。

3、int file_sync(char *src_filename, char *delta_filename)
功能：使用差异编码文件将源文件同步至目标文件。
参数：src_filename为基本文件，delta_filename为通过函数file_delta生成的差异编码文件。

[cpp]  view plain copy print ?
  1. /* 
  2.   Copyright (C) 2010, Aigui Liu 
  3.                                                                                                     
  4.   Filename: sync.h 
  5.   Author: Aigui.Liu@gmail.com 
  6.  */  
  7. #ifndef _SYNC_H  
  8. #define _SYNC_H  
  9. #include <stdint.h>  
  10. #define BLOCK_SZ        2048  
  11. #define BLOCK_MIN_SZ    1024  
  12. #define BLOCK_MAX_SZ    4096  
  13. #define BLOCK_WIN_SZ    48  
  14. #define NAME_MAX_SZ     256  
  15. #define BUF_MAX_SZ      32768  
  16. #define HASHTABLE_BUCKET_SZ 1024  
  17. #define CHUNK_CDC_D     BLOCK_SZ  
  18. #define CHUNK_CDC_R     13  
  19. enum chunk_algo {  
  20.     CHUNK_FSP = 0,  /* fixed-size partition */  
  21.     CHUNK_CDC,      /* content-define chunking */  
  22.     CHUNK_SBC       /* slide block chunking */  
  23. };  
  24. /* define chunk file header and block entry */  
  25. typedef struct _chunk_file_header {  
  26.     uint32_t block_sz;  
  27.     uint32_t block_nr;  
  28. } chunk_file_header;  
  29. #define CHUNK_FILE_HEADER_SZ    (sizeof(chunk_file_header))  
  30. typedef struct _chunk_block_entry {  
  31.     uint64_t offset;  
  32.     uint32_t len;  
  33.     uint8_t  md5[16 + 1];  
  34.     uint8_t  csum[10 + 1];  
  35. } chunk_block_entry;  
  36. #define CHUNK_BLOCK_ENTRY_SZ    (sizeof(chunk_block_entry))  
  37. /* define delta file header and block entry */  
  38. typedef struct _delta_file_header {  
  39.     uint32_t block_nr;  
  40.     uint32_t last_block_sz;  
  41.     uint64_t last_block_offset;  /* offset in delta file */  
  42. } delta_file_header;  
  43. #define DELTA_FILE_HEADER_SZ    (sizeof(delta_file_header))  
  44. typedef struct _delta_block_entry {  
  45.     uint64_t offset;  
  46.     uint32_t len;  
  47.     uint8_t  embeded; /* 1, block in delta file; 0, block in source file. */  
  48. } delta_block_entry;  
  49. #define DELTA_BLOCK_ENTRY_SZ    (sizeof(delta_block_entry))  
  50. int file_chunk(char *src_filename, char *chunk_filename, int chunk_algo);  
  51. int file_delta(char *src_filename, char *chunk_filename, char *delta_filename, int chunk_algo);  
  52. int file_sync(char *src_filename, char *delta_filename);  
  53. #endif  

数据同步有PULL和PUSH两种应用模式，PULL是将远程数据同步到本地，而PUSH是将本地数据同步到远程。对应到同步算法，主要区别在于数据分块和差异编码位置不同。PULL和PUSH同步模式步骤分别如下所述。

PULL同步模式流程：
1、本地对文件A进行数据切分，生成数据块描述文件chunk；
2、上传chunk文件至远程服务器；
3、远程服务器对文件B进行差异编码，生成差异编码文件delta；
4、下载delta文件至本地；
5、本地同步文件A至文件B，相当于下载文件B到本地文件A。

例子程序：

[cpp]  view plain copy print ?
  1. /* 
  2.   Copyright (c) 2010, Aigui Liu 
  3.   All rights reserved. 
  4.   
  5.   Filename: wspull.c  
  6.   Author: Aigui.Liu@gmail.com 
  7. */  
  8. #include <stdio.h>  
  9. #include <stdlib.h>  
  10. #include <string.h>  
  11. #include <fcntl.h>  
  12. #include <unistd.h>  
  13. #include "wsioclient.h"  
  14. #include "wsio_api.h"  
  15. #include "sync.h"  
  16. /* main function */  
  17. int main(int argc, char **argv)  
  18. {   
  19.     char fap[32] = {0};  
  20.     char server[256] = {0};  
  21.     char *local_filename = NULL;  
  22.     char remote_filename[256] = {0};  
  23.     char local_chunkname[256] = {0};  
  24.     char remote_chunkname[256] = {0};  
  25.     char local_deltaname[256] = {0};  
  26.     char remote_deltaname[256] = {0};  
  27.     int ret = 0;  
  28.     if (argc < 3) {   
  29.         fprintf(stderr, "Usage: wspull remote_filename local_filename/n");  
  30.         exit(0);  
  31.     }  
  32.     
  33.     if(argv[1]) {  
  34.         if(parseURL(argv[1], fap, server, remote_filename) == -1) {  
  35.             fprintf(stderr, "wsio address is illegal/n");  
  36.             exit(1);  
  37.         }  
  38.     }  
  39.     wsio_init(fap, server);  
  40.     local_filename = argv[2];  
  41.     if (0 == access(local_filename, F_OK)) {  
  42.         sprintf(local_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  43.         sprintf(remote_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  44.         sprintf(local_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  45.         sprintf(remote_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  46.         ret = file_chunk(local_filename, local_chunkname, CHUNK_CDC);  
  47.         if (ret == -1) {  
  48.             fprintf(stderr, "local file chunking failed/n");  
  49.             return -1;  
  50.         }  
  51.         ret = wsio_putfile(local_chunkname, remote_chunkname);  
  52.         if (ret == -1) {  
  53.             fprintf(stderr, "upload chunking file failed/n");  
  54.             return -1;  
  55.         }  
  56.         ret = wsio_deltafile(remote_filename, remote_chunkname, remote_deltaname, CHUNK_CDC);  
  57.         if (ret == -1) {  
  58.             fprintf(stderr, "remote file delta coding failed/n");  
  59.             return -1;  
  60.         }  
  61.         ret = wsio_getfile(remote_deltaname, local_deltaname);  
  62.         if (ret == -1) {  
  63.             fprintf(stderr, "download delta file failed/n");  
  64.         }  
  65.         ret = file_sync(local_filename, local_deltaname);  
  66.         if (ret == -1) {  
  67.             fprintf(stderr, "local file sync failed/n");  
  68.             return -1;  
  69.         }  
  70.     } else {  
  71.         ret = wsio_getfile(remote_filename, local_filename);  
  72.         if (ret == -1) {  
  73.             fprintf(stderr, "download file failed/n");  
  74.             return -1;  
  75.         }  
  76.     }  
  77.     wsio_unlink(remote_chunkname);  
  78.     wsio_unlink(remote_deltaname);  
  79.     unlink(local_chunkname);  
  80.     unlink(local_deltaname);  
  81.     wsio_destroy();  
  82.     fprintf(stderr, "pull %s to %s %s/n", argv[1], local_filename, (ret == 0)? "sucessfully" : "failed");  
  83.     return 0;  
  84. }  
 

PUSH同步模式流程：
1、远程服务器对文件B进行数据切分，生成数据块描述文件chunk；
2、下载chunk文件至本地；
3、本地对文件A进行差异编码，生成差异编码文件delta；
4、上传delta文件至远程服务器；
5、远程同步文件B到A，相当于上传文件A到远程文件B。

例子程序：

[cpp]  view plain copy print ?
  1. /* 
  2.   Copyright (c) 2010, Aigui Liu 
  3.   All rights reserved. 
  4.   
  5.   Filename: wspush.c  
  6.   Author: Aigui.Liu@gmail.com 
  7. */  
  8. #include <stdio.h>  
  9. #include <stdlib.h>  
  10. #include <string.h>  
  11. #include <fcntl.h>  
  12. #include <unistd.h>  
  13. #include "wsioclient.h"  
  14. #include "wsio_api.h"  
  15. #include "sync.h"  
  16. /* main function */  
  17. int main(int argc, char **argv)  
  18. {   
  19.     char fap[32] = {0};  
  20.     char server[256] = {0};  
  21.     char remote_filename[256] = {0};  
  22.     char *local_filename = NULL;  
  23.     char local_chunkname[256] = {0};  
  24.     char remote_chunkname[256] = {0};  
  25.     char local_deltaname[256] = {0};  
  26.     char remote_deltaname[256] = {0};  
  27.     int ret = 0;  
  28.     if (argc < 3) {   
  29.         fprintf(stderr, "Usage: wspush local_filename remote_filename/n");  
  30.         exit(0);  
  31.     }  
  32.     
  33.     if(argv[2]) {  
  34.         if(parseURL(argv[2], fap, server, remote_filename) == -1) {  
  35.             fprintf(stderr, "wsio address is illegal/n");  
  36.             exit(1);  
  37.         }  
  38.     }  
  39.     wsio_init(fap, server);  
  40.     local_filename = argv[1];  
  41.     if (0 == wsio_access(remote_filename, F_OK)) {  
  42.         sprintf(local_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  43.         sprintf(remote_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  44.         sprintf(local_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  45.         sprintf(remote_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  46.         ret = wsio_chunkfile(remote_filename, remote_chunkname, CHUNK_CDC);  
  47.         if (ret == -1) {  
  48.             fprintf(stderr, "remote file chunking failed/n");  
  49.             return -1;  
  50.         }  
  51.         ret = wsio_getfile(remote_chunkname, local_chunkname);  
  52.         if (ret == -1) {  
  53.             fprintf(stderr, "download chunking file failed/n");  
  54.             return -1;  
  55.         }  
  56.         ret = file_delta(local_filename, local_chunkname, local_deltaname, CHUNK_CDC);  
  57.         if (ret == -1) {  
  58.             fprintf(stderr, "local file delta coding failed/n");  
  59.             return -1;  
  60.         }  
  61.         ret = wsio_putfile(local_deltaname, remote_deltaname);  
  62.         if (ret == -1) {  
  63.             fprintf(stderr, "upload delta file failed/n");  
  64.         }  
  65.         ret = wsio_syncfile(remote_filename, remote_deltaname);  
  66.         if (ret == -1) {  
  67.             fprintf(stderr, "remote file sync failed/n");  
  68.             return -1;  
  69.         }  
  70.     } else {  
  71.         ret = wsio_putfile(local_filename, remote_filename);  
  72.         if (ret == -1) {  
  73.             fprintf(stderr, "upload file failed/n");  
  74.             return -1;  
  75.         }  
  76.     }  
  77.     wsio_unlink(remote_chunkname);  
  78.     wsio_unlink(remote_deltaname);  
  79.     unlink(local_chunkname);  
  80.     unlink(local_deltaname);  
  81.     wsio_destroy();  
  82.     fprintf(stderr, "push %s to %s %s/n", local_filename, remote_filename, (ret == 0)? "sucessfully" : "failed");  
  83.     return 0;  
  84. }  

librsync源码
03-08
librync.so 的源码，提供客户端测试工具
[游戏开发]网络同步方式
liuyongjie1992的博客
12-02 5494
状态同步 优点： 数据在服务器运算，客户端接收到的数据一定准确 防止数据作弊，角色数据在服务器，客户端只上传操作，想作弊没门 网络波动不敏感 多端表现可以不一致，重视数值准确。 缺点： 前后端数据包体大， 服务器压力比较重（计算量、传输量） 研发特点：战斗逻辑全部在服务器，客户端等着服务器数据刷表现。 适合使用状态同步的游戏类型：魔兽世界、传奇等MMORPG游戏 帧同步 优点： 只转发用户操作，网络带宽压力小 适合回放、直播（省流量） 缺点： 网络波动及其敏感 由于只同..
网络开发时用到的一些库
Richard的专栏
09-24 1118
在做网络开发时用到的一些库1. libnet提供的接口函数主要实现和封装了数据包的构造和发送过程.地址:http://libnet.sourceforge.net/2. libdnet为几个低级网络例程提供了一个简化的接口在，包括网络地址处理，内核arp(4) 和 route(4)表处理，防火墙，接口配置，以及原始以太网和IP数据包传输。地址:http://libdnet.sourceforge.
网络同步学习（状态同步，帧同步）
zaizai1007的博客
07-17 2560
网络同步的学习与实践
时序库Lib的并发处理策略
特别是对于时序库Lib而言，高效且安全的并发处理策略直接关系到系统性能和数据准确性。本章将带领读者从总体上理解时序库Lib中并发处理的策略，为后续章节的深入学习打下基础。 ## 1.1 并发处理在时序库中的重要性 ...
深入解析librsync源码及其客户端测试工具
librsync 是一个实现了 rsync 算法的开源库，允许开发者将该库集成到他们的应用程序中，以实现高效的数据同步功能。rsync 算法是一种数据差异复制算法，可以高效地同步文件和目录，仅发送两个文件之间的差异部分，而...
C++线程安全异步控制流：libasync实现解析
标题中提到的“cpp-libasync”暗示这是一款专注于C++语言开发的库，旨在提供线程安全的数据结构操作，并且支持通用异步控制流。而“线程安全数据结构”意味着这个库中会有一套机制保证在多线程环境下对数据结构的...
Android 8源码目录结构详解
killerjava的专栏
10-23 3414
   |-  art // Android Runtime，一种App运行模式，区别于传统的Dalvik虚拟机，旨在提高Android系统的流畅性，包括以下目录                |-  benchmark // 程序测试基准。             |-  build // 编译文件。           |-  cmdline // 命令行工具的初始化与解析。         ...
Android GUI 系列之Surfaceflinger
Super627890115的博客
12-31 4347
Android回炉系列之Surfaceflinger 前言 很早开始就有想写写博客的想法，毕竟好记心不如烂笔头，这段时间公司业务要求，对音视频、渲染等要有深度理解，突然之间发现自己脑袋是空空的，没办法就只有系统性的回炉一遍，同时也做好存档，以便于后期的复习、升华做铺垫！好了废话不多说了。我们首先从界面绘制渲染开始，竟然是绘制那么针对我们Android系统而言我们是怎么把视图呈现给用户的呢?带着这个疑惑，我们就从surfaceflinger开始一一解析。 一、Surfaceflinger是什么？ 通过查阅
librsync:带优化的 Librsync 克隆
07-04
图书馆同步 librsync 实现了由 rsync 实用程序推广的远程文件同步的滚动校验和算法。 该算法传输两个文件之间的差异，而无需在同一系统上使用这两个文件。 librsync没有实现 rsync 线路协议。 如果您想与 rsync 服务器交谈以传输文件，则需要将其转为rsync 。 librsync 用于构建与 rsync 一样高效地传输文件的其他程序。 您可以使用 librsync 制作备份工具，将二进制补丁分发到程序，或将目录同步到服务器或对等点之间。 该树还生成rdiff命令行工具，该工具公开了 librsync 的关键操作：生成文件签名、从签名生成新文件的增量，以及应用该增量以在给定旧文件的情况下重新生成新文件。 版权 librsync 版权所有 1999-2014 Martin Pool 和其他人。 librsync 在 GNU LGPL v2.1 下分发（请参阅复
rsync的linux库
04-21
librsync，主要包括rsync的算法，使用平台：linux
librsync.net:Librsync算法的C＃实现
04-30
librsync.net librsync.net是rsync实用程序使用的滚动校验和算法的C＃实现。 librsync.net旨在与librsync库（ ）兼容。 但是，这是该算法的全新实现。 此实现仅支持BLAKE2哈希函数。 根据 （根据CC0许可证发布）中的代码，包含了一个dll来计算此功能。 用法 要在您的应用程序中使用该库，只需添加对该dll的引用。 该库支持三种操作： Librsync.ComputeSignature-这将获取一个输入文件并从中计算一个“签名”。 Librsync.ComputeDelta-这将获取文件的签名和新版本，并计算代表原始版本与新版本之间差异的增量 Librsync.ApplyDelta-这将使用文件的旧版本并应用增量以提供新版本 远程同步的示例 要通过差异同步上传文件，请执行以下操作： 客户端请求服务器版本的签名。 客户端计算其版
librsync增量更新api测试
涟漪、的博客
09-16 6961
简单测试librsync几个接口，流程如下： rs_sig_file()创建签名文件 rs_loadsig_file()加载签名文件至内存 rs_build_hash_table()建立哈希表 rs_delta_file()同步增量文件 progress_timer t; cout << "testconsole.................." << endl; cout << "version: " << rs_librsyn
开源项目librsync快速指南与问题解答
最新发布
gitblog_00335的博客
11-06 470
开源项目librsync快速指南与问题解答 librsync是一款强大的远程差异压缩库，采用C语言编写。它实现了rsync协议的核心算法，适用于高效计算文件间的差异，无需两份文件在同一系统上即可完成差异传输。此库广泛应用于备份系统、二进制补丁分发及目录同步场景，如Dropbox、rdiff-backup和Duplicity等知名应用都采用了librsync。 新手注意事项与解决方案 1. 编译安装...
fast_rsync 项目教程
gitblog_00350的博客
08-27 361
fast_rsync 项目教程 项目介绍 fast_rsync 是一个用 Rust 编写的优化实现 librsync 的项目。librsync 是一个用于增量文件传输和文件更新的库。fast_rsync 通过使用 SIMD（单指令多数据）操作来加速计算签名和差异的过程，从而提供比原始 librsync 更快的性能。 项目快速启动 安装 首先，确保你已经安装了 Rust 和 Cargo。然后，通过以...
Linux rsync 使用文档
小灰灰的博客
12-21 192
rsync是一个功能强大的Linux命令行工具，用于实现文件的快速、安全和高效同步。它可以在本地或远程主机之间复制、备份和同步文件和目录。
【云计算的1024种玩法】轻松将服务器文件备份至 OSS
weixin_34112030的博客
12-21 250
前言 在阿里云开发者论坛做版主也有 3 年了，见到过非常多的因为平时没有备份导致的服务器文件因为错误操作丢失、忘记续费丢失、服务器中毒丢失的情况。都是因为没有对服务进行备份。 而备份这种东西一边来说都是平时百般不情愿的，但是一到用时真的是恨不得备份越新越全越好。备份可以有效的帮助我们解决例如挂马和加密勒索这样的攻击行为，相信 17年5月20日 的永恒之蓝...
数据备份- rclone ,Duplicity, restic,rsync
a1058926697的博客
06-17 3583
Rclone 是一个的命令行工具，支持在不同对象存储、网盘间同步、上传、下载数据。并且通过一些设置可以实现离线下载、服务器备份等非常实用的功能。与Restic相比，功能要更简单，没有版本等功能。rsync是一款开源的备份工具，可以在不同主机之间进行同步（windows和Linux之间 Mac和 Linux Linux和Linux），可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地等应用。rsync官方地址rsyncrsync监听端口：873rsync常见的两种备份方式完全备份。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值