网络数据同步开发库libsync

最新推荐文章于 2024-11-06 11:24:50 发布
最新推荐文章于 2024-11-06 11:24:50 发布
阅读量1.4k 收藏
点赞数
分类专栏： C++
本文介绍了一种改进的数据同步算法，并将其封装为libsync动态函数库，用于文件切分、差异编码与同步操作。提供了三种文件切分算法：定长切分、内容定义切分和滑动块切分，以及差异编码与文件同步功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

"数据同步算法研究"一文提出了一种改进的数据同步算法，我在实现的原型系统基础上，将文件切分、差异编码、文件同步等关键算法抽取出来封装成动态开发库libsync，方便自己的开发应用。在本人开发的deduputil，WSIO, wsync等软件中，均使用了libsync动态函数库，现已将libsync发布至google code。libsync函数库由提供三个API，原型描述如下：

1、int file_chunk(char *src_filename, char *chunk_filename, int chunk_algo)
功能：对件进行切分生成分块描述文件。
参数：src_filename为切分文件，chunk_filename为生成的块信息描述文件，chunk_algo为文件切分算法，目前支持定长FSP切分(Ffixed-size partition)、CDC切分(content-defined chunking)和滑动块(sliding block)切分三种。

2、int file_delta(char *src_filename, char *chunk_filename, char *delta_filename, int chunk_algo)
功能：使用生成的块描述信息对文件进行差异编码。
参数：src_filename为待编码文件，chunk_filename为通过函数file_chunk生成的块描述文件，chunk_algo为文件切分算法。

3、int file_sync(char *src_filename, char *delta_filename)
功能：使用差异编码文件将源文件同步至目标文件。
参数：src_filename为基本文件，delta_filename为通过函数file_delta生成的差异编码文件。

[cpp]  view plain copy print ?
  1. /* 
  2.   Copyright (C) 2010, Aigui Liu 
  3.                                                                                                     
  4.   Filename: sync.h 
  5.   Author: Aigui.Liu@gmail.com 
  6.  */  
  7. #ifndef _SYNC_H  
  8. #define _SYNC_H  
  9. #include <stdint.h>  
  10. #define BLOCK_SZ        2048  
  11. #define BLOCK_MIN_SZ    1024  
  12. #define BLOCK_MAX_SZ    4096  
  13. #define BLOCK_WIN_SZ    48  
  14. #define NAME_MAX_SZ     256  
  15. #define BUF_MAX_SZ      32768  
  16. #define HASHTABLE_BUCKET_SZ 1024  
  17. #define CHUNK_CDC_D     BLOCK_SZ  
  18. #define CHUNK_CDC_R     13  
  19. enum chunk_algo {  
  20.     CHUNK_FSP = 0,  /* fixed-size partition */  
  21.     CHUNK_CDC,      /* content-define chunking */  
  22.     CHUNK_SBC       /* slide block chunking */  
  23. };  
  24. /* define chunk file header and block entry */  
  25. typedef struct _chunk_file_header {  
  26.     uint32_t block_sz;  
  27.     uint32_t block_nr;  
  28. } chunk_file_header;  
  29. #define CHUNK_FILE_HEADER_SZ    (sizeof(chunk_file_header))  
  30. typedef struct _chunk_block_entry {  
  31.     uint64_t offset;  
  32.     uint32_t len;  
  33.     uint8_t  md5[16 + 1];  
  34.     uint8_t  csum[10 + 1];  
  35. } chunk_block_entry;  
  36. #define CHUNK_BLOCK_ENTRY_SZ    (sizeof(chunk_block_entry))  
  37. /* define delta file header and block entry */  
  38. typedef struct _delta_file_header {  
  39.     uint32_t block_nr;  
  40.     uint32_t last_block_sz;  
  41.     uint64_t last_block_offset;  /* offset in delta file */  
  42. } delta_file_header;  
  43. #define DELTA_FILE_HEADER_SZ    (sizeof(delta_file_header))  
  44. typedef struct _delta_block_entry {  
  45.     uint64_t offset;  
  46.     uint32_t len;  
  47.     uint8_t  embeded; /* 1, block in delta file; 0, block in source file. */  
  48. } delta_block_entry;  
  49. #define DELTA_BLOCK_ENTRY_SZ    (sizeof(delta_block_entry))  
  50. int file_chunk(char *src_filename, char *chunk_filename, int chunk_algo);  
  51. int file_delta(char *src_filename, char *chunk_filename, char *delta_filename, int chunk_algo);  
  52. int file_sync(char *src_filename, char *delta_filename);  
  53. #endif  

数据同步有PULL和PUSH两种应用模式，PULL是将远程数据同步到本地，而PUSH是将本地数据同步到远程。对应到同步算法，主要区别在于数据分块和差异编码位置不同。PULL和PUSH同步模式步骤分别如下所述。

PULL同步模式流程：
1、本地对文件A进行数据切分，生成数据块描述文件chunk；
2、上传chunk文件至远程服务器；
3、远程服务器对文件B进行差异编码，生成差异编码文件delta；
4、下载delta文件至本地；
5、本地同步文件A至文件B，相当于下载文件B到本地文件A。

例子程序：

[cpp]  view plain copy print ?
  1. /* 
  2.   Copyright (c) 2010, Aigui Liu 
  3.   All rights reserved. 
  4.   
  5.   Filename: wspull.c  
  6.   Author: Aigui.Liu@gmail.com 
  7. */  
  8. #include <stdio.h>  
  9. #include <stdlib.h>  
  10. #include <string.h>  
  11. #include <fcntl.h>  
  12. #include <unistd.h>  
  13. #include "wsioclient.h"  
  14. #include "wsio_api.h"  
  15. #include "sync.h"  
  16. /* main function */  
  17. int main(int argc, char **argv)  
  18. {   
  19.     char fap[32] = {0};  
  20.     char server[256] = {0};  
  21.     char *local_filename = NULL;  
  22.     char remote_filename[256] = {0};  
  23.     char local_chunkname[256] = {0};  
  24.     char remote_chunkname[256] = {0};  
  25.     char local_deltaname[256] = {0};  
  26.     char remote_deltaname[256] = {0};  
  27.     int ret = 0;  
  28.     if (argc < 3) {   
  29.         fprintf(stderr, "Usage: wspull remote_filename local_filename/n");  
  30.         exit(0);  
  31.     }  
  32.     
  33.     if(argv[1]) {  
  34.         if(parseURL(argv[1], fap, server, remote_filename) == -1) {  
  35.             fprintf(stderr, "wsio address is illegal/n");  
  36.             exit(1);  
  37.         }  
  38.     }  
  39.     wsio_init(fap, server);  
  40.     local_filename = argv[2];  
  41.     if (0 == access(local_filename, F_OK)) {  
  42.         sprintf(local_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  43.         sprintf(remote_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  44.         sprintf(local_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  45.         sprintf(remote_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  46.         ret = file_chunk(local_filename, local_chunkname, CHUNK_CDC);  
  47.         if (ret == -1) {  
  48.             fprintf(stderr, "local file chunking failed/n");  
  49.             return -1;  
  50.         }  
  51.         ret = wsio_putfile(local_chunkname, remote_chunkname);  
  52.         if (ret == -1) {  
  53.             fprintf(stderr, "upload chunking file failed/n");  
  54.             return -1;  
  55.         }  
  56.         ret = wsio_deltafile(remote_filename, remote_chunkname, remote_deltaname, CHUNK_CDC);  
  57.         if (ret == -1) {  
  58.             fprintf(stderr, "remote file delta coding failed/n");  
  59.             return -1;  
  60.         }  
  61.         ret = wsio_getfile(remote_deltaname, local_deltaname);  
  62.         if (ret == -1) {  
  63.             fprintf(stderr, "download delta file failed/n");  
  64.         }  
  65.         ret = file_sync(local_filename, local_deltaname);  
  66.         if (ret == -1) {  
  67.             fprintf(stderr, "local file sync failed/n");  
  68.             return -1;  
  69.         }  
  70.     } else {  
  71.         ret = wsio_getfile(remote_filename, local_filename);  
  72.         if (ret == -1) {  
  73.             fprintf(stderr, "download file failed/n");  
  74.             return -1;  
  75.         }  
  76.     }  
  77.     wsio_unlink(remote_chunkname);  
  78.     wsio_unlink(remote_deltaname);  
  79.     unlink(local_chunkname);  
  80.     unlink(local_deltaname);  
  81.     wsio_destroy();  
  82.     fprintf(stderr, "pull %s to %s %s/n", argv[1], local_filename, (ret == 0)? "sucessfully" : "failed");  
  83.     return 0;  
  84. }  
 

PUSH同步模式流程：
1、远程服务器对文件B进行数据切分，生成数据块描述文件chunk；
2、下载chunk文件至本地；
3、本地对文件A进行差异编码，生成差异编码文件delta；
4、上传delta文件至远程服务器；
5、远程同步文件B到A，相当于上传文件A到远程文件B。

例子程序：

[cpp]  view plain copy print ?
  1. /* 
  2.   Copyright (c) 2010, Aigui Liu 
  3.   All rights reserved. 
  4.   
  5.   Filename: wspush.c  
  6.   Author: Aigui.Liu@gmail.com 
  7. */  
  8. #include <stdio.h>  
  9. #include <stdlib.h>  
  10. #include <string.h>  
  11. #include <fcntl.h>  
  12. #include <unistd.h>  
  13. #include "wsioclient.h"  
  14. #include "wsio_api.h"  
  15. #include "sync.h"  
  16. /* main function */  
  17. int main(int argc, char **argv)  
  18. {   
  19.     char fap[32] = {0};  
  20.     char server[256] = {0};  
  21.     char remote_filename[256] = {0};  
  22.     char *local_filename = NULL;  
  23.     char local_chunkname[256] = {0};  
  24.     char remote_chunkname[256] = {0};  
  25.     char local_deltaname[256] = {0};  
  26.     char remote_deltaname[256] = {0};  
  27.     int ret = 0;  
  28.     if (argc < 3) {   
  29.         fprintf(stderr, "Usage: wspush local_filename remote_filename/n");  
  30.         exit(0);  
  31.     }  
  32.     
  33.     if(argv[2]) {  
  34.         if(parseURL(argv[2], fap, server, remote_filename) == -1) {  
  35.             fprintf(stderr, "wsio address is illegal/n");  
  36.             exit(1);  
  37.         }  
  38.     }  
  39.     wsio_init(fap, server);  
  40.     local_filename = argv[1];  
  41.     if (0 == wsio_access(remote_filename, F_OK)) {  
  42.         sprintf(local_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  43.         sprintf(remote_chunkname, "%s_%d", tmpnam(NULL), getpid());  
  44.         sprintf(local_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  45.         sprintf(remote_deltaname, "%s_%d", tmpnam(NULL), getpid());  
  46.         ret = wsio_chunkfile(remote_filename, remote_chunkname, CHUNK_CDC);  
  47.         if (ret == -1) {  
  48.             fprintf(stderr, "remote file chunking failed/n");  
  49.             return -1;  
  50.         }  
  51.         ret = wsio_getfile(remote_chunkname, local_chunkname);  
  52.         if (ret == -1) {  
  53.             fprintf(stderr, "download chunking file failed/n");  
  54.             return -1;  
  55.         }  
  56.         ret = file_delta(local_filename, local_chunkname, local_deltaname, CHUNK_CDC);  
  57.         if (ret == -1) {  
  58.             fprintf(stderr, "local file delta coding failed/n");  
  59.             return -1;  
  60.         }  
  61.         ret = wsio_putfile(local_deltaname, remote_deltaname);  
  62.         if (ret == -1) {  
  63.             fprintf(stderr, "upload delta file failed/n");  
  64.         }  
  65.         ret = wsio_syncfile(remote_filename, remote_deltaname);  
  66.         if (ret == -1) {  
  67.             fprintf(stderr, "remote file sync failed/n");  
  68.             return -1;  
  69.         }  
  70.     } else {  
  71.         ret = wsio_putfile(local_filename, remote_filename);  
  72.         if (ret == -1) {  
  73.             fprintf(stderr, "upload file failed/n");  
  74.             return -1;  
  75.         }  
  76.     }  
  77.     wsio_unlink(remote_chunkname);  
  78.     wsio_unlink(remote_deltaname);  
  79.     unlink(local_chunkname);  
  80.     unlink(local_deltaname);  
  81.     wsio_destroy();  
  82.     fprintf(stderr, "push %s to %s %s/n", local_filename, remote_filename, (ret == 0)? "sucessfully" : "failed");  
  83.     return 0;  
  84. }  

mysql数据迁移与同步常用解决方案总结
congge
05-10 7004
mysql数据迁移与同步常用解决方案总结
canal实现mysql数据同步
热门推荐
congge
01-27 1万+
canal实现mysql数据同步
librsync源码
03-08
librync.so 的源码，提供客户端测试工具
[游戏开发]网络同步方式
liuyongjie1992的博客
12-02 5493
状态同步 优点： 数据在服务器运算，客户端接收到的数据一定准确 防止数据作弊，角色数据在服务器，客户端只上传操作，想作弊没门 网络波动不敏感 多端表现可以不一致，重视数值准确。 缺点： 前后端数据包体大， 服务器压力比较重（计算量、传输量） 研发特点：战斗逻辑全部在服务器，客户端等着服务器数据刷表现。 适合使用状态同步的游戏类型：魔兽世界、传奇等MMORPG游戏 帧同步 优点： 只转发用户操作，网络带宽压力小 适合回放、直播（省流量） 缺点： 网络波动及其敏感 由于只同..
网络开发时用到的一些库
Richard的专栏
09-24 1118
在做网络开发时用到的一些库1. libnet提供的接口函数主要实现和封装了数据包的构造和发送过程.地址:http://libnet.sourceforge.net/2. libdnet为几个低级网络例程提供了一个简化的接口在，包括网络地址处理，内核arp(4) 和 route(4)表处理，防火墙，接口配置，以及原始以太网和IP数据包传输。地址:http://libdnet.sourceforge.
网络同步学习（状态同步，帧同步）
zaizai1007的博客
07-17 2552
网络同步的学习与实践
java多个数据库实现数据同步
03-16
在IT行业中，数据库同步是一个关键话题，特别是在分布式系统和企业级应用中，多个数据库的同步是确保数据一致性、完整性和高可用性的重要手段。本文将深入探讨如何使用Java来实现多个数据库之间的数据同步。 首先，...
数据同步之大数据下数据仓库的同步方式
浩天的博客
05-09 2070
数据仓库的特性是集成，把不同数据源、不同形式的数据整合在一起。大数据下的数据特点如下： ①数据多样性：包括高度结构化，易于处理的结构化数据以及服务器日志、图片、视频等非结构化数据 ②数据量：传统的数据仓库每天的同步量在几百GB上下，大型的数据仓库每天达PB级别，甚至EB级别 批量数据同步： 1）离线的数据线仓库用于负责将不同数据源的数据同步到数据仓库，以及定时将数据同步到业务系统 2）要...
银行数据仓库体系实践（11）--数据仓库开发管理系统及开发流程
acumen_leo的博客
07-20 4280
数据仓库管理着整个银行或公司的数据，数据结构复杂，数据量庞大，任何一个数据字段的变化或错误都会引起数据错误，影响数据应用，同时业务的发展也带来系统不断升级，数据需求的不断增加，数据仓库需要不断的升级和维护，才能保证为全行提供持续完整准确的数据服务。所以数据仓库基本上是全行或全公司版本最多的系统，如何保证在频繁的变化中保证数据的准确和系统的稳定，需要数据仓库的开发管理必须做到高效、有条不...
librsync:带优化的 Librsync 克隆
07-04
图书馆同步 librsync 实现了由 rsync 实用程序推广的远程文件同步的滚动校验和算法。 该算法传输两个文件之间的差异，而无需在同一系统上使用这两个文件。 librsync没有实现 rsync 线路协议。 如果您想与 rsync 服务器交谈以传输文件，则需要将其转为rsync 。 librsync 用于构建与 rsync 一样高效地传输文件的其他程序。 您可以使用 librsync 制作备份工具，将二进制补丁分发到程序，或将目录同步到服务器或对等点之间。 该树还生成rdiff命令行工具，该工具公开了 librsync 的关键操作：生成文件签名、从签名生成新文件的增量，以及应用该增量以在给定旧文件的情况下重新生成新文件。 版权 librsync 版权所有 1999-2014 Martin Pool 和其他人。 librsync 在 GNU LGPL v2.1 下分发（请参阅复
rsync的linux库
04-21
librsync，主要包括rsync的算法，使用平台：linux
librsync.net:Librsync算法的C＃实现
04-30
librsync.net librsync.net是rsync实用程序使用的滚动校验和算法的C＃实现。 librsync.net旨在与librsync库（ ）兼容。 但是，这是该算法的全新实现。 此实现仅支持BLAKE2哈希函数。 根据 （根据CC0许可证发布）中的代码，包含了一个dll来计算此功能。 用法 要在您的应用程序中使用该库，只需添加对该dll的引用。 该库支持三种操作： Librsync.ComputeSignature-这将获取一个输入文件并从中计算一个“签名”。 Librsync.ComputeDelta-这将获取文件的签名和新版本，并计算代表原始版本与新版本之间差异的增量 Librsync.ApplyDelta-这将使用文件的旧版本并应用增量以提供新版本 远程同步的示例 要通过差异同步上传文件，请执行以下操作： 客户端请求服务器版本的签名。 客户端计算其版
librsync增量更新api测试
涟漪、的博客
09-16 6961
简单测试librsync几个接口，流程如下： rs_sig_file()创建签名文件 rs_loadsig_file()加载签名文件至内存 rs_build_hash_table()建立哈希表 rs_delta_file()同步增量文件 progress_timer t; cout << "testconsole.................." << endl; cout << "version: " << rs_librsyn
开源项目librsync快速指南与问题解答
最新发布
gitblog_00335的博客
11-06 470
开源项目librsync快速指南与问题解答 librsync是一款强大的远程差异压缩库，采用C语言编写。它实现了rsync协议的核心算法，适用于高效计算文件间的差异，无需两份文件在同一系统上即可完成差异传输。此库广泛应用于备份系统、二进制补丁分发及目录同步场景，如Dropbox、rdiff-backup和Duplicity等知名应用都采用了librsync。 新手注意事项与解决方案 1. 编译安装...
fast_rsync 项目教程
gitblog_00350的博客
08-27 361
fast_rsync 项目教程 项目介绍 fast_rsync 是一个用 Rust 编写的优化实现 librsync 的项目。librsync 是一个用于增量文件传输和文件更新的库。fast_rsync 通过使用 SIMD（单指令多数据）操作来加速计算签名和差异的过程，从而提供比原始 librsync 更快的性能。 项目快速启动 安装 首先，确保你已经安装了 Rust 和 Cargo。然后，通过以...
Linux rsync 使用文档
小灰灰的博客
12-21 192
rsync是一个功能强大的Linux命令行工具，用于实现文件的快速、安全和高效同步。它可以在本地或远程主机之间复制、备份和同步文件和目录。
【云计算的1024种玩法】轻松将服务器文件备份至 OSS
weixin_34112030的博客
12-21 250
前言 在阿里云开发者论坛做版主也有 3 年了，见到过非常多的因为平时没有备份导致的服务器文件因为错误操作丢失、忘记续费丢失、服务器中毒丢失的情况。都是因为没有对服务进行备份。 而备份这种东西一边来说都是平时百般不情愿的，但是一到用时真的是恨不得备份越新越全越好。备份可以有效的帮助我们解决例如挂马和加密勒索这样的攻击行为，相信 17年5月20日 的永恒之蓝...
数据备份- rclone ,Duplicity, restic,rsync
a1058926697的博客
06-17 3579
Rclone 是一个的命令行工具，支持在不同对象存储、网盘间同步、上传、下载数据。并且通过一些设置可以实现离线下载、服务器备份等非常实用的功能。与Restic相比，功能要更简单，没有版本等功能。rsync是一款开源的备份工具，可以在不同主机之间进行同步（windows和Linux之间 Mac和 Linux Linux和Linux），可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地等应用。rsync官方地址rsyncrsync监听端口：873rsync常见的两种备份方式完全备份。
Java实现Rest接口数据库数据同步工具
在这个主题下，我们讨论的是一种基于Java语言开发的数据同步工具类，该类通过定时任务和Java数据库连接（JDBC）技术，实现从一个数据库向另一个数据库同步数据的功能。其核心通过调用Restful风格的接口进行数据传输...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值