使用databus实现oracle和内存数据库redis之间的数据同步

最新推荐文章于 2025-06-30 19:12:43 发布
最新推荐文章于 2025-06-30 19:12:43 发布
阅读量2.4w 收藏 16
点赞数 6
CC 4.0 BY-SA版权
分类专栏： databus 文章标签： databus redis oracle 内存数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/guojing505123/article/details/51361281
本文介绍了如何使用LinkedIn的开源项目Databus实现Oracle数据库到内存数据库Redis之间的数据同步。通过详细的操作步骤，展示了Databus作为中间件在数据迁移中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近需要做oracle和redis的数据同步，找到了databus作为中间件，这个玩意是linkedin的开源项目（奥巴马的封箱段子秀上说要在linkedin上投简历，来头不小啊）。

资料大多是英文，而且用了gradle做编译打包工具，原理性的东西github上有介绍，https://github.com/linkedin/databus/wiki

把操作步骤分享出来：

1.新建用户

脚本：

命令： 
./createUser.sh xjglxt xjglxt 192.168.11.129:1521/ORCL1 tbs_xjglxt /mnt/u001/oracle/data/DB > /tmp/createUser.out

2.导入数据（测试库）

3.为数据库添加字段、视图、package、procedure、trigger等

把需要监控的表和视图建起来，增加txn(transaction number)字段，类型为number
把表名和视图名的文件放到一个文件夹下；比如：
tablespace
放到~/database/文件夹下
其中每个需要监控的表都要新建一个tab文件和view文件，对已有的表，可将表结构导出来
如果要监控多个表，编写多个.tab和.view文件
执行
最低0.47元/天 解锁文章

200万优质内容无限畅学
Databus
高精尖发展
06-23 3132
今天发现了Databus，恕我愚钝，目前感觉这个东西比canal更胜一筹，为什么呐？ 博客:https://www.cnblogs.com/xunshao/p/9762377.html—— 看完留下我无知的感叹：Databus好厉害呀！我的妈呀、用它 O(∩_∩)O哈哈~ 抖音洗脑了，应该是各有长处的，这里丫头我就不做店评了，确实还不(hen)够(nian)格(qing...
redis oracle 同时使用方法,[内存数据库 同步]使用databus实现oracle和内存数据库redis之间的数据同步...
weixin_30960995的博客
04-02 504
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件最近需要对oracle和redis进行数据同步，发现databus作为中间件，这玩意是linkedin的开放源代码项目(奥巴马的拳击段落子展示可以在LinkedIn上显示简历，这没什么大不了的。大多数信息都是英语，并且gradle用作编译和打包工具。原则性内容在github，https://github.com/lin...
oracle数据库redis,使用databus实现oracle和内存数据库redis之间的数据同步-Oracle
weixin_39615741的博客
04-02 755
最近需要做oracle和redis的数据同步，找到了databus作为中间件，这个玩意是linkin的开源项目(奥巴马的封箱段子秀上说要在linkin上投简历，来头不小啊)。资料大多是英文，而且用了gradle做编译打包工具，原理性的东西github上有介绍，https://github.com/linkedin/databus/wiki把操作步骤分享出来：1.新建用户脚本：命令：./create...
Java学习笔记——第一章 Redis 篇
朝闻道
06-30 874
Java学习笔记
整理知识点——databus的使用
yyf960126的博客
07-12 2896
Databus是LinkedIn开源的一款低延迟的分布式数据库同步系统它提供可靠的数据捕获、流转和数据处理功能。 github地址是：https://github.com/linkedin/databus 核心组件： 　　Databus的核心组件是Databus Relay。主要负责两个工作： 　　1、从Databus源数据库中读取变化行，并序列化为事件流保存至内存中。 　　2...
Databus架构分析与初步实践
hebeind100的博客
11-06 1451
1. 简介 Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点： 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的...
DataBus(数据同步组件)
weixin_43564627的博客
06-08 6769
DataBus(数据同步组件) github： https://github.com/linkedin/databus/wiki Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点： 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的任意时间
oracle 调用redis,使用databus实现oracle和内存数据库redis之间的数据同步
weixin_35865261的博客
04-05 544
最近需要做oracle和redis的数据同步，找到了databus作为中间件，这个玩意是linkin的开源项目(奥巴马的封箱段子秀上说要在linkin上投简历，来头不小啊)。资料大多是英文，而且用了gradle做编译打包工具，原理性的东西github上有介绍，https://github.com/linkedin/databus/wiki把操作步骤分享出来：1.新建用户脚本：命令：./create...
redis 同步到oracle,[oracle数据库实时同步到redis]使用DataBus将数据从Oracle同步到Redis...
weixin_35034088的博客
04-03 1272
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件读取数据源变更行(ROW)，并将变更行数据序列化到内存缓冲区。监听客户端请求并传输缓冲区的数据。检查Relay端的数据变更，并同步数据。如果与Relay之间数据变更相差太大、会执行追溯功能。注:单个客户端既可以处理全部Databus数据流，也可以作为集群的一部分处理一小部分数据流。1.这是一个特殊客户端，用于将Rela...
Databus 分布式数据库同步系统
高广超的博客
01-22 3679
社区wiki主页：https://github.com/linkedin/Databus/wiki 背景 一个大型分布式系统往往存在多种的存储系统，mysql，tair，redis，memcache，hbase等等。一些重要的或者需要事务支持的数据操作，通常都会放到mysql处理。但是，为了满足高性能的访问需求或者做一些服务定制化的查询，业务上通常又会把mysql的数据再写到tair或者
Mysql+oracle+redis
weixin_33964094的博客
10-04 299
Redis学习笔记——初级MySQL存储引擎之Myisam和Innodb总结性梳理MySQL高可用架构-MMM环境部署记录MySQL高可用架构-MHA环境部署记录Mysql优化系列（0）--总结性梳理Mysql双主热备+LVS+Keepalived高可用操作记录Mysql读写分离方案－MySQL Proxy环境部署记录mysql主从同步(4)-Slave延迟状态监控Mysql...
c#基于servicestack.redis类库实现将oracle数据库数据同步到redis
傲骨雄风的博客
07-08 722
一、整体思路： 1.对数据按照日期分段进行划分查询，划分了五段(2021-06-01至2021-06-06、2021-06-07至2021-06-12等)，作用是生成5个task，实现多线程。 2.为什么每次只查询一天得数据插入到redis呢？因为我得数据每天得量大约20万左右，如果查询多天数据数据量很大时进行插入，redis类库会直接报错。 3.在查询数据得时候，刚开始查询得特别慢，在sql语句优化下做了很多，比如创建索引，组合索引之类得，效果没什么起色。直到后来用到了分区技术，对oracl...
Redis与Oracle
qq_39586409的博客
01-04 7667
Redis 简介 Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 ...
DataBus-入门介绍-1
weixin_37512224的博客
03-23 3525
背景 在it存储系统中，可以分为OLTP/OLAP方案，其中OLTP用于主系统，OLAP用于离线分析系统；但是在追求实时性的系统中OLAP很难满足业务的需求； 因此我们需要OLTP的系统数据变更实时的同步到OLAP存储中； 方案 可以通过业务双写，同时写入2个存储中 事务控制复杂 通过数据库日志同步 介绍 通过拉取、解析database的变更日志形成事件缓存在环形buffer中，实现客...
oracle 、redis 和mysql
l23456789o的博客
04-17 2259
oracleredis    数据类型：http://www.runoob.com/redis/redis-data-types.htmlmysqlMySql与Oracle的几个主要区别https://blog.youkuaiyun.com/l23456789o/article/details/79978715
centos7.4+oracle19c+基础组件nginx-redis-jdk实用安装手册
weixin_42520723的博客
08-04 1621
centos7.4+oracle19c+基础组件nginx-redis-jdk实用安装手册
将oracle数据库中的数据导入redis数据库演示
m0_48379126的博客
08-31 1208
1、首先我们先创建一个sql文件，文件名为aa.sql，sql语句如下所示。第一个spool后面跟着的 /opt/dt.txt，表示将oracle执行后生成的可用于redis读取的语句存放在此文件中 set heading off set term off set feedback off set pagesize 0 set trimout on set trimspool on set linesize 200 spool /opt/dt.txt select '*4\r\n$5\r\nHM...
oracle内存表 redis,[redis与数据库同步oracle]使用databus实现oracle和内存数据库redis之间的数据同步...
weixin_36008052的博客
04-10 577
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件最近，我需要在oracle和redis之间进行数据同步，并发现databus作为中间件。这是linkin的开源项目(奥巴马的拳击段落显示，有必要在linkin上投放简历，这不是一个小开始)。大多数信息都是英语，并且gradle用作编译和打包工具。在github，https://github.com/linkedin/d...
Databus 调研测试
feng12345zi的博客
06-28 1411
1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点：数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费，包括...
redis如何同步数据库
最新发布
07-03
### Redis 数据同步到数据库的方法 Redis 通常作为缓存层使用，用于加速数据访问速度。然而，在某些场景下，需要将 Redis 中的数据同步回传统数据库（如 MySQL、Oracle 等），以确保数据的持久化和一致性。以下是几种常见的 Redis 数据同步到数据库的方法： #### 1. **Cache Aside 模式** 在 Cache Aside 模式中，应用程序负责管理缓存与数据库之间的数据同步。当需要更新数据时，首先更新数据库，然后删除或更新缓存中的相应数据[^1]。 - **写操作流程**： - 更新数据库中的数据。 - 删除 Redis 中对应的缓存数据。 - **读操作流程**： - 首先尝试从 Redis 中读取数据。 - 如果 Redis 中没有数据，则从数据库中查询，并将结果写入 Redis。 这种方法简单易实现，但对开发人员的要求较高，因为需要手动处理缓存失效和更新逻辑。 #### 2. **基于消息队列的异步同步** 通过引入消息队列（如 Kafka、RabbitMQ 或 RocketMQ），可以实现 Redis 与数据库之间的异步数据同步。Redis 中的数据变更可以通过消息队列传递给消费者服务，由消费者负责将数据持久化到数据库中。 - Redis 中的数据变更事件被发布到消息队列。 - 消费者监听这些事件并解析出需要同步的数据。 - 消费者将数据写入数据库，并确认处理完成。 这种方法的优点是可以解耦 Redis 和数据库之间的直接依赖关系，同时支持高并发和大规模数据同步[^3]。 #### 3. **使用中间件工具进行双向同步** 对于更复杂的数据同步需求，可以借助专门的数据同步中间件，如 Debezium、Databus 或 Canal，来实现实时或近实时的数据同步。 - 这些工具通常基于数据库的日志（如 MySQL 的 binlog）捕获数据变化。 - 变化的数据会被推送到 Redis 中，或者从 Redis 推送至数据库。 - 支持自动化的数据同步机制，减少人工干预。 例如，Databus 可以用于 Oracle 和 Redis 之间的数据同步，通过订阅数据库的日志流，实时更新 Redis 缓存[^4]。 #### 4. **定时任务批量同步** 在某些业务场景下，数据一致性要求不是非常高，可以选择定时任务定期将 Redis 中的数据批量写入数据库。 - 使用定时任务（如 Cron Job）定期执行脚本。 - 脚本会遍历 Redis 中的数据，并将其写入数据库。 - 可以结合 Lua 脚本保证操作的原子性。 这种方法适用于数据量较大且对实时性要求不高的场景，但可能会导致短暂的数据不一致。 #### 5. **双写策略（Double Write）** 在双写策略中，数据同时写入 Redis 和数据库。这种方式可以确保数据的即时一致性，但对系统的可用性和性能有较高要求。 - 应用程序同时向 Redis 和数据库发送写请求。 - 如果其中一方失败，可能需要引入补偿机制（如重试、日志记录等）来处理异常情况。 该方法适用于对数据一致性要求极高的场景，但也增加了系统复杂度和维护成本[^1]。 --- ### 示例代码：使用 Python 实现 Redis 到 MySQL 的简单同步 ```python import redis import mysql.connector # 初始化 Redis 客户端 r = redis.StrictRedis(host='localhost', port=6379, db=0) # 初始化 MySQL 连接 db = mysql.connector.connect( host="localhost", user="root", password="password", database="test_db" ) cursor = db.cursor() # 假设我们有一个名为 'user_profile' 的哈希表 user_profiles = r.hgetall("user_profile") for user_id, profile in user_profiles.items(): # 解析用户信息 profile_data = eval(profile) # 注意：实际应用中应避免使用 eval() # 构造 SQL 插入语句 sql = "INSERT INTO users (id, name, email) VALUES (%s, %s, %s) ON DUPLICATE KEY UPDATE name=%s, email=%s" val = (user_id, profile_data['name'], profile_data['email'], profile_data['name'], profile_data['email']) cursor.execute(sql, val) db.commit() cursor.close() db.close() ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值