使用databus实现oracle和内存数据库redis之间的数据同步

最新推荐文章于 2025-07-18 11:28:58 发布

guojing505123

最新推荐文章于 2025-07-18 11:28:58 发布

阅读量2.4w

点赞数 6

CC 4.0 BY-SA版权

分类专栏： databus 文章标签： databus redis oracle 内存数据库

本文链接：https://blog.youkuaiyun.com/guojing505123/article/details/51361281

本文介绍了如何使用LinkedIn的开源项目Databus实现Oracle数据库到内存数据库Redis之间的数据同步。通过详细的操作步骤，展示了Databus作为中间件在数据迁移中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近需要做oracle和redis的数据同步，找到了databus作为中间件，这个玩意是linkedin的开源项目（奥巴马的封箱段子秀上说要在linkedin上投简历，来头不小啊）。

资料大多是英文，而且用了gradle做编译打包工具，原理性的东西github上有介绍，https://github.com/linkedin/databus/wiki

把操作步骤分享出来：

1.新建用户

脚本：

命令：

./createUser.sh xjglxt xjglxt 192.168.11.129:1521/ORCL1 tbs_xjglxt /mnt/u001/oracle/data/DB > /tmp/createUser.out

2.导入数据（测试库）

3.为数据库添加字段、视图、package、procedure、trigger等

把需要监控的表和视图建起来，增加txn(transaction number)字段，类型为number

把表名和视图名的文件放到一个文件夹下；比如：

放到~/database/文件夹下

其中每个需要监控的表都要新建一个tab文件和view文件，对已有的表，可将表结构导出来

如果要监控多个表，编写多个.tab和.view文件

执行

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

guojing505123

关注关注

6
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Databus

高精尖发展

06-23

3133

今天发现了Databus，恕我愚钝，目前感觉这个东西比canal更胜一筹，为什么呐？博客:https://www.cnblogs.com/xunshao/p/9762377.html—— 看完留下我无知的感叹：Databus好厉害呀！我的妈呀、用它 O(∩_∩)O哈哈~ 抖音洗脑了，应该是各有长处的，这里丫头我就不做店评了，确实还不(hen)够(nian)格(qing...

redis oracle 同时使用方法,[内存数据库 同步]使用databus实现oracle和内存数据库redis之间的数据同步...

weixin_30960995的博客

04-02

505

在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件最近需要对oracle和redis进行数据同步，发现databus作为中间件，这玩意是linkedin的开放源代码项目(奥巴马的拳击段落子展示可以在LinkedIn上显示简历，这没什么大不了的。大多数信息都是英语，并且gradle用作编译和打包工具。原则性内容在github，https://github.com/lin...

参与评论您还未登录，请先登录后发表或查看评论

oracle数据库redis,使用databus实现oracle和内存数据库redis之间的数据同步-Oracle

weixin_39615741的博客

04-02

759

最近需要做oracle和redis的数据同步，找到了databus作为中间件，这个玩意是linkin的开源项目(奥巴马的封箱段子秀上说要在linkin上投简历，来头不小啊)。资料大多是英文，而且用了gradle做编译打包工具，原理性的东西github上有介绍，https://github.com/linkedin/databus/wiki把操作步骤分享出来：1.新建用户脚本：命令：./create...

Redis5：Redis的Java客户端——Jedis与SpringDataRedis详解

最新发布

2301_78566776的博客

07-18

813

我们看set方法我们发现他接受的并不是字符串，它可以接收任何类型的对象，然后转换成redis可以处理的字节（JDK的序列化工具ObjectOutputStream）再写入redis。为了节省内存空间，我们并不会使用JSON序列化器来处理value，而是统一使用String序列化器，要求只能存储String类型的key和value。SpringData是Spring中数据操作的模块，包含对各种数据库的集成，其中对Redis的集成模块就叫做SpringDataRedis，，其中封装了各种对Redis的操作。

整理知识点——databus的使用

yyf960126的博客

07-12

2900

Databus是LinkedIn开源的一款低延迟的分布式数据库同步系统它提供可靠的数据捕获、流转和数据处理功能。 github地址是：https://github.com/linkedin/databus 核心组件：　　Databus的核心组件是Databus Relay。主要负责两个工作：　　1、从Databus源数据库中读取变化行，并序列化为事件流保存至内存中。　　2...

Databus架构分析与初步实践

hebeind100的博客

11-06

1456

1. 简介 Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点：数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的...

DataBus(数据同步组件)

weixin_43564627的博客

06-08

6778

DataBus(数据同步组件) github： https://github.com/linkedin/databus/wiki Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点：数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间

oracle 调用redis,使用databus实现oracle和内存数据库redis之间的数据同步

weixin_35865261的博客

04-05

546

redis 同步到oracle,[oracle数据库实时同步到redis]使用DataBus将数据从Oracle同步到Redis...

weixin_35034088的博客

04-03

1274

在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件读取数据源变更行(ROW)，并将变更行数据序列化到内存缓冲区。监听客户端请求并传输缓冲区的数据。检查Relay端的数据变更，并同步数据。如果与Relay之间数据变更相差太大、会执行追溯功能。注:单个客户端既可以处理全部Databus数据流，也可以作为集群的一部分处理一小部分数据流。1.这是一个特殊客户端，用于将Rela...

Databus 分布式数据库同步系统

高广超的博客

01-22

3679

社区wiki主页：https://github.com/linkedin/Databus/wiki 背景一个大型分布式系统往往存在多种的存储系统，mysql，tair，redis，memcache，hbase等等。一些重要的或者需要事务支持的数据操作，通常都会放到mysql处理。但是，为了满足高性能的访问需求或者做一些服务定制化的查询，业务上通常又会把mysql的数据再写到tair或者

Mysql+oracle+redis

weixin_33964094的博客

10-04

300

Redis学习笔记——初级MySQL存储引擎之Myisam和Innodb总结性梳理MySQL高可用架构-MMM环境部署记录MySQL高可用架构-MHA环境部署记录Mysql优化系列（0）--总结性梳理Mysql双主热备+LVS+Keepalived高可用操作记录Mysql读写分离方案－MySQL Proxy环境部署记录mysql主从同步(4)-Slave延迟状态监控Mysql...

c#基于servicestack.redis类库实现将oracle数据库数据同步到redis

傲骨雄风的博客

07-08

723

一、整体思路： 1.对数据按照日期分段进行划分查询，划分了五段(2021-06-01至2021-06-06、2021-06-07至2021-06-12等)，作用是生成5个task，实现多线程。 2.为什么每次只查询一天得数据插入到redis呢？因为我得数据每天得量大约20万左右，如果查询多天数据数据量很大时进行插入，redis类库会直接报错。 3.在查询数据得时候，刚开始查询得特别慢，在sql语句优化下做了很多，比如创建索引，组合索引之类得，效果没什么起色。直到后来用到了分区技术，对oracl...

Redis与Oracle

qq_39586409的博客

01-04

7668

Redis 简介 Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 ...

DataBus-入门介绍-1

weixin_37512224的博客

03-23

3528

背景在it存储系统中，可以分为OLTP/OLAP方案，其中OLTP用于主系统，OLAP用于离线分析系统；但是在追求实时性的系统中OLAP很难满足业务的需求；因此我们需要OLTP的系统数据变更实时的同步到OLAP存储中；方案可以通过业务双写，同时写入2个存储中事务控制复杂通过数据库日志同步介绍通过拉取、解析database的变更日志形成事件缓存在环形buffer中，实现客...

oracle 、redis 和mysql

l23456789o的博客

04-17

2259

oracleredis 数据类型：http://www.runoob.com/redis/redis-data-types.htmlmysqlMySql与Oracle的几个主要区别https://blog.youkuaiyun.com/l23456789o/article/details/79978715

centos7.4+oracle19c+基础组件nginx-redis-jdk实用安装手册

weixin_42520723的博客

08-04

1621

centos7.4+oracle19c+基础组件nginx-redis-jdk实用安装手册

将oracle数据库中的数据导入redis数据库演示

m0_48379126的博客

08-31

1209

1、首先我们先创建一个sql文件，文件名为aa.sql，sql语句如下所示。第一个spool后面跟着的 /opt/dt.txt，表示将oracle执行后生成的可用于redis读取的语句存放在此文件中 set heading off set term off set feedback off set pagesize 0 set trimout on set trimspool on set linesize 200 spool /opt/dt.txt select '*4\r\n$5\r\nHM...

oracle内存表 redis,[redis与数据库同步oracle]使用databus实现oracle和内存数据库redis之间的数据同步...

weixin_36008052的博客

04-10

578

在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件最近，我需要在oracle和redis之间进行数据同步，并发现databus作为中间件。这是linkin的开源项目(奥巴马的拳击段落显示，有必要在linkin上投放简历，这不是一个小开始)。大多数信息都是英语，并且gradle用作编译和打包工具。在github，https://github.com/linkedin/d...

Databus 调研测试

feng12345zi的博客

06-28

1411

1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点：数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费，包括...

redis如何同步数据库

07-03

### Redis 数据同步到数据库的方法 Redis 通常作为缓存层使用，用于加速数据访问速度。然而，在某些场景下，需要将 Redis 中的数据同步回传统数据库（如 MySQL、Oracle 等），以确保数据的持久化和一致性。以下是几种常见的 Redis 数据同步到数据库的方法： #### 1. **Cache Aside 模式** 在 Cache Aside 模式中，应用程序负责管理缓存与数据库之间的数据同步。当需要更新数据时，首先更新数据库，然后删除或更新缓存中的相应数据[^1]。 - **写操作流程**： - 更新数据库中的数据。 - 删除 Redis 中对应的缓存数据。 - **读操作流程**： - 首先尝试从 Redis 中读取数据。 - 如果 Redis 中没有数据，则从数据库中查询，并将结果写入 Redis。这种方法简单易实现，但对开发人员的要求较高，因为需要手动处理缓存失效和更新逻辑。 #### 2. **基于消息队列的异步同步** 通过引入消息队列（如 Kafka、RabbitMQ 或 RocketMQ），可以实现 Redis 与数据库之间的异步数据同步。Redis 中的数据变更可以通过消息队列传递给消费者服务，由消费者负责将数据持久化到数据库中。 - Redis 中的数据变更事件被发布到消息队列。 - 消费者监听这些事件并解析出需要同步的数据。 - 消费者将数据写入数据库，并确认处理完成。这种方法的优点是可以解耦 Redis 和数据库之间的直接依赖关系，同时支持高并发和大规模数据同步[^3]。 #### 3. **使用中间件工具进行双向同步** 对于更复杂的数据同步需求，可以借助专门的数据同步中间件，如 Debezium、Databus 或 Canal，来实现实时或近实时的数据同步。 - 这些工具通常基于数据库的日志（如 MySQL 的 binlog）捕获数据变化。 - 变化的数据会被推送到 Redis 中，或者从 Redis 推送至数据库。 - 支持自动化的数据同步机制，减少人工干预。例如，Databus 可以用于 Oracle 和 Redis 之间的数据同步，通过订阅数据库的日志流，实时更新 Redis 缓存[^4]。 #### 4. **定时任务批量同步** 在某些业务场景下，数据一致性要求不是非常高，可以选择定时任务定期将 Redis 中的数据批量写入数据库。 - 使用定时任务（如 Cron Job）定期执行脚本。 - 脚本会遍历 Redis 中的数据，并将其写入数据库。 - 可以结合 Lua 脚本保证操作的原子性。这种方法适用于数据量较大且对实时性要求不高的场景，但可能会导致短暂的数据不一致。 #### 5. **双写策略（Double Write）** 在双写策略中，数据同时写入 Redis 和数据库。这种方式可以确保数据的即时一致性，但对系统的可用性和性能有较高要求。 - 应用程序同时向 Redis 和数据库发送写请求。 - 如果其中一方失败，可能需要引入补偿机制（如重试、日志记录等）来处理异常情况。该方法适用于对数据一致性要求极高的场景，但也增加了系统复杂度和维护成本[^1]。 --- ### 示例代码：使用 Python 实现 Redis 到 MySQL 的简单同步 ```python import redis import mysql.connector # 初始化 Redis 客户端 r = redis.StrictRedis(host='localhost', port=6379, db=0) # 初始化 MySQL 连接 db = mysql.connector.connect( host="localhost", user="root", password="password", database="test_db" ) cursor = db.cursor() # 假设我们有一个名为 'user_profile' 的哈希表 user_profiles = r.hgetall("user_profile") for user_id, profile in user_profiles.items(): # 解析用户信息 profile_data = eval(profile) # 注意：实际应用中应避免使用 eval() # 构造 SQL 插入语句 sql = "INSERT INTO users (id, name, email) VALUES (%s, %s, %s) ON DUPLICATE KEY UPDATE name=%s, email=%s" val = (user_id, profile_data['name'], profile_data['email'], profile_data['name'], profile_data['email']) cursor.execute(sql, val) db.commit() cursor.close() db.close() ``` --- ###