databus搭建文档记录

Databus 调研测试 1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点:数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费,包括... 阅读详情

最近公司因需要同步oracle数据到mysql ,调研了Datax 对于大数据量的同步代价有些大。开源的databus 需要对源码做二次开发,才可以使用,前期我们搭建后,用自带的person表做了测试。确认可行后研发更改了源码。

准备工作:
1.配制gradle 和 java
2.ojdbc6-11.2.0.2.0.jar放到如下目录:
databus-master/sandbox-repo/com/oracle/ojdbc6/11.2.0.2.0/
更改defaultEnvironment.gradle文替换链接中https为http.
编译databus : gradle -Dopen_source=true clean | assemble

开始搭建:
一. --更改配置信息:

1. 更改 databus-master/databus2-example/database/person/ 下配制 增加相关建表、视图语句和tableapce名称 每个表包括.tab 和 .view两个文件。
建表时需要在最后一行 txn number 字段. 建视图时候需要 把id 列加上别名 key.
2. databus-master/databus2-example/databus2-example-relay-pkg/conf/sources-person.json 连接oracle时候加上ip 及修改相关同步表的信息。
3. 默认路径在 /root/databus-master

二. --更改client的配置 后续打包后生成build_pkg时使用:

cd databus2-example/databus2-example-client/src/main/sources
vim db.properties 更改连接库信息
vim client.properties 更改成Relay的端口 配置同步的表信息

–增加以下文本 以同步两张表为例
databus.client.runtime.relay(1).sources=com.linkedin.events.example.person.PrrangeCourse,com.linkedin.events.example.person.plusManager

三. --更改源码的配制信息

vim databus2-example/databus2-example-client/src/main/java/com/linkedin/databus/client/example/PersonClientMain.java #更改db的配制文件目录
vim databus2-example/databus2-example-client/src/main/java/com/linkedin/databus/client/example/xml/XmlParser.java #更改configure文件目录

四. --更改并创建数据库相关信息

vim db/oracle/bin/createUser.sh 更改system密码及创建用户信息。注意:如果表中已存在表 执行多次时候时候 要注释掉删除用户语句。

vim /root/databus-master/db/oracle/bin/createSchema.sh 创建db的包 过程 触发器 函数等。

五. --编译并生成数据库文件 序列化文件

编译databus : gradle -Dopen_source=true [assemble | clean]

sh db/oracle/bin/createUser.sh user pass instance_name tablespace /datadir #创建用户

cd db/oracle/fwk
sh /root/databus-master/db/oracle/bin/createSchema.sh user/pass@orcl /root/databus-master/databus2-example/database/person/

mkdir -p /root/databus-master/myperson-avro/avroOut --保存表的字段描述信息
mkdir -p /root/databus-master/myperson-avro/javaOut --保存源码文件

mkdir -p /root/databus-master/myperson-avro/avroOut --保存表的字段描述信息
mkdir -p /root/databus-master/myperson-avro/javaOut --保存源码文件

sh dbus2-avro-schema-gen.sh -namespace com.linkedin.events.example.person -recordName TplusManager -viewName “sy$t_plus_manager” -avroOutDir /root/databus-master/myperson-avro/avroOut -avroOutVersion 1 -javaOutDir /root/databus-master/myperson-avro/javaOut -userName user -password password -database jdbc:oracle:thin:@10.6.6.1:1521:ORCL
#生成序列化文件 注意 配制同步多个表 需要执行多次

六.–更改序列化和生成的源码文件

表中第一行  "meta" : "dbFieldName=sy$t_plus_manager;pk=KEY;",  用pk=KEY替换最后一个段
java文件也是  public static final org.apache.avro.Schema SCHEMA$最后一行同样

#将源码和序列化文件cp到指定目录
cd databus2-example/databus2-example-person/src/main/java/com/linkedin/events/example/person
cp /root/databus-master/myperson-avro/javaOut/com/linkedin/events/example/person/* ./

cd databus2-example/databus2-example-relay-pkg/schemas_registry/
cp /root/databus-master/myperson-avro/avroOut/* ./

#将cp过来的avsc文件添加到index文件中
vim index.schemas_registry

cd databus2-example/schemas_registry/
cp /root/databus-master/myperson-avro/avroOut/* ./

#编译databus : gradle -Dopen_source=true clean | assemble

七.创建client和relay目录 解包可运行代码

确保client下包括 client.properties configure.xml db.properties 或是确认这几个文件保存在java文件所指的目录
mkdir client relay
cd client
tar xvzf build/databus2-example-client-pkg/distributions/databus2-example-client-pkg-2.0.0.tar.gz ./

cd …/relay
tar xvzf build/databus2-example-relay-pkg/distributions/databus2-example-relay-pkg-2.0.0.tar.gz ./

八 – 运行relay 和 client

#person 是指conf/sources-person.json 文件
sh relay/bin/start-example-relay.sh person
sh client/bin/start-example-client.sh person

九.-- 最后遇到的问题

问题:

  1. 更新数据时候 新插入一条记录: client 配置文件中没有指定key id 后加上 alias=“KEY” 参考如下脚本

2.Cannot bind to URL rmi://localhost:1099 ServiceUnavailableException错误
在databus-core/databus-core-container/src/main/java/com/linkedin/databus2/core/container/netty/ServerContainer文件的initializeContainerJmx方法倒第二行加
LocateRegistry.createRegistry(_containerStaticConfig.getJmx().getRmiRegistryPort());

在此文件头引入相关包 import java.rmi.registry.LocateRegistry;

–生成client的表的配置文件脚本如下:
[root@test2 tedu]# cat genconfig.py

import sys

HEADTXT="\n          <field name="
TAILTXT="/>"

TAB_HEAD ="    <source name=\"com.linkedin.events.example.person\" id=\"{}\" table={} db=\"mysql\" logEnable=\"true\"> \n       <fields>"
TAB_TAIL = "\n       </fields> \n    </source>"
##read file  content 
"""
### file format   
### create table *** 
(
  \"col1\"  type,
  \"col2\"  type,
)
gnerate two files  named table_name.sql  and table_name.xml
"""

def read_file(filename,outputfile,id=101):
  xml = open(outputfile+".xml",'a')
  sql = open(outputfile+".sql",'a')
  strxml = ""
  strsql = ""
  idflag = False
  with open(filename,'r') as f:
    for line in  f.readlines():
      #print(line)
      if " TABLE " in line:  #create table  
        strxml = TAB_HEAD.format(id,line[line.find('"'):])
        strsql = line.replace('"','')
      elif " PRIMARY KEY " in line: #last line of create table
        strxml = TAB_TAIL
        strsql = ')'
        id = id+1
      elif "(" in line[0:9]:             #"(" in createtable 
        idflag=True
        continue
      else:                         #process line 
        strxml = HEADTXT+(line[:line.rfind('"')+1].strip())

        if 'ID' in line and idflag: #primarykey field must add ...
          strxml+= " alias=\"KEY\"  primaryKey=\"true\" "
          idflag=False
        if ' DATE' in line:
          strxml += ' type="java.util.Date"'
          strsql = line.replace(" DATE"," datetime")
          strsql = strsql.replace('"','')
        elif ' NUMBER' in line:
          strxml += ' type="double"'
          strsql = line.replace(" NUMBER"," bigint")
          strsql = strsql.replace('"','')
        else:
          strsql = line.replace(" VARCHAR2"," varchar")
          strsql = strsql.replace('"','')
        strxml +=TAILTXT
      xml.write(strxml)    
      sql.write(strsql)
  xml.close()
  sql.close()

if __name__ == '__main__':
  read_file(sys.argv[1],sys.argv[1]) 
  #for x in sys.argv:
  # print(x)   

参考链接:

https://github.com/linkedin/databus

https://blog.youkuaiyun.com/jyf19/article/details/104555803/

ojdbc6-11.2.0.2.0.jar 主要用来操作Oracle数据库。JDBC, 全称为Java DataBase Connectivity standard, 它是一个面向对象的应用程序接口(API), 通过它可访问各类关系数据库。JDBC也是java核心类库的一部分。 JDBC的最大特点是它独立于具体的关系数据库。与ODBC (Open Database Connectivity)类似, JDBC API 中定义了一些Java类分别用来表示与数据库的连接(connections), SQL语句(SQL statements), 结果集(result sets)以及其它的数据库对象, 使得Java程序能方便地与数据库交互并处理所得的结果。使用JDBC, 所有Java程序(包括Java applications , applets和servlet)都能通过SQL语句或存储在数据库中的过程(stored procedures)来存取数据库。 要通过JDBC来存取某一特定的数据库,必须有相应的JDBC driver,它往往是由生产数据库的厂家提供,是连接JDBC API与具体数据库之间的桥梁。 通常,Java程序首先使用JDBC API来与JDBC Driver Manager交互,由JDBC Driver Manager载入指定的JDBC drivers, 以后就可以通过JDBC API来存取数据库。 立即下载

相关推荐

【提示学习代码】CoOp代码详读

CoOp是对CLIP的改进工作,主要是对prompt进行学习从而不用来手动设置prompt。自定义CLIP模型:上述两个模块结合而成的CLIP。文本编码器,接收文本的输入,并输出相应的编码表示。将图像和文本进行编码并计算它们之间的相似性。permute后变成了(4,2,3)Prompt学习器,用于学习生成提示。

weixin_51293984的博客 5817

DataBus(数据同步组件)

DataBus(数据同步组件) github: https://github.com/linkedin/databus/wiki Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点: 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的任意时间

weixin_43564627的博客 6973

共聚焦显微镜的光源、工作原理与选型

共聚焦显微镜作为科研与工业领域中重要的微观成像工具,凭借光源的精准适配性、光学切片技术的三维成像能力,以及对不同工业场景的定制化适配潜力,为半导体检测、工业部件分析、智能制造升级提供了关键技术支撑。深入理解其光源特性、工作原理与选型逻辑,能帮助工程师与技术人员精准匹配设备与生产需求,既保障微观检测的精度与效率,又为产业优化、技术创新筑牢微观观测的基础。

PhotonixBay的博客 1540

Databus架构分析与初步实践

简介 Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点: 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的任意...

weixin_30876945的博客 368

随机森林的可解释性分析(含python代码)

随机森林的“黑箱”特性逐渐凸显,这使得我们难以理解和解释模型内部的工作机制。对于许多应用场景而言,仅仅获得高准确率的预测结果是不够的;了解预测背后的逻辑同样重要,特别是在医疗诊断、金融风险评估等领域。因此,对随机森林进行可解释性分析变得尤为重要。

m0_59257547的博客 3851

【异常】XXL-JOB提示异常ERROR com.xxl.job.core.util.XxlJobRemotingUtil - connect timed out

打开XXL-JOB的ELK,发现一堆报错。

奶爸的编程之路,也就一周冷个三天 2049

DataBus-入门介绍-1

背景 在it存储系统中,可以分为OLTP/OLAP方案,其中OLTP用于主系统,OLAP用于离线分析系统;但是在追求实时性的系统中OLAP很难满足业务的需求; 因此我们需要OLTP的系统数据变更实时的同步到OLAP存储中; 方案 可以通过业务双写,同时写入2个存储中 事务控制复杂 通过数据库日志同步 介绍 通过拉取、解析database的变更日志形成事件缓存在环形buffer中,实现客...

weixin_37512224的博客 3637

CAN(2)-GD32

GD32中CAN的特征。

小柚子的博客 555

databus mysql搭建_【databus】初识Databus

1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点:数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费,包括...

weixin_42487788的博客 634

《QGIS空间数据处理与高级制图》【目录】

《QGIS空间数据处理与高级制图》是一本面向GIS技术人员和学生的进阶手册,重点提升数据处理效率和专业制图标准化水平。全书涵盖空间数据预处理、矢量编辑、栅格处理、坐标系统应用和符号化设计等核心内容。书中详细介绍了批量数据转换、拓扑检查、遥感影像处理、自定义坐标系创建等实用技能,并提供了模型构建器和PyQGIS脚本实现自动化操作。通过大量实战案例和问题排查指南,帮助读者从基础使用进阶到专业应用,适合测绘、规划、环保等行业的GIS从业者参考使用。

LuckyHanMo的博客 376

R数据分析:广义估计方程式GEE的做法和解释

好久没有更新文章了,因为同学们咨询的问题有点多,另一个原因就是自己实在太懒。。。。 今天继续给大家写广义估计方程式GEE。 In statistics, a generalized estimating equation (GEE) is used to estimate the parameters of a generalized linear model with a possible unknown correlation between outcomes. 上面的英文解释告诉我们,当我们

Codewar的博客 1万+

Databus for Oracle

Databus组成 Relay :数据抓取端 读取数据源变更行(ROW),并将变更行数据序列化到内存缓冲区。 监听客户端请求并传输缓冲区的数据。 Client:数据客户端 检查Relay端的数据变更,并同步数据。 如果与Relay之间数据变更相差太大、会执行追溯功能。 注:单个客户端既可以处理全部Databus数据流,也可以作为集群的一部分处理一小部分数据流。 bootstrap-pr...

在平坦的路上曲折前行 3556

ollama参数调优_解决ollama跑模型_不走GPU问题_调试常用技巧---AI大模型应用探索0037

这里就会显示比如 63%/39% CPU/GPU 就是这样显示的,这样就可以看出来,实际上CPU占用了百分之63,然后GPU只占用了百分之39,这个时候需要,添加参数。首先在ollama中,如果你安装模型以后,跑的时候,中Windows系统中,看GPU使用量,和CPU使用量,除了可以在任务管理器中看,还可以,使用命令。可以看到直接就会显示,如果你有gpu显卡的话,并且安装了英伟达的驱动,cuda的驱动,那么。然后再去重启ollama,记得一定要去关闭ollama.exe,然后再使用,命令去重启,

添柴程序猿的专栏 316

Databus架构分析

1. 简介 Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点: 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的任意时间点进行消费,包括通过bootstrap获取所有数据。 分区消费 源一致性保存,消费不成...

java小兵 1826

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

关于Canal和DataBus原理和对比

Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点:数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费,包括通过bootstrap获取所有数据。分区消费源一致性保存,消费不成功会一直消费直到消费成功。

maruofan666的博客 1463

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

mysql databus_DataBus概述

1. 概述Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点:数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费,包括...

weixin_42169245的博客 740

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Databus 开源项目教程

Databus 是一个由 LinkedIn 开发的开源数据同步系统,旨在实现高效、可靠的数据变更捕获和传播。它能够实时地将数据库中的变更事件捕获并同步到其他系统或存储中,适用于需要实时数据同步的场景。Databus 支持多种数据源和目标,并且具有高扩展性和容错性。 ## 2. 项目快速启动 ### 2.1 环境准备 在开始之前,请确保你已经安装了以下软件: - Java 8 或更高版本 -...

gitblog_00139的博客 667

Databus 学习笔记

一、前言 databus源自Canal, 仅把内存缓存改成用kafka实现。当前Canal也已经支持了kafka缓存的方式。 二、Canal介绍 1、Canel简介 canal [kə’næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。 早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获...

胜天半子 1479

监控databus脚本

背景如上一文档 本文主要是监控databus同步数据的延迟问题,和其运行端口的监控。 引用模块代码如下: import cx_Oracle import re import requests import json 由于我们调用企业微信发信息这块代码先忽略,如果不涉及信息提醒可以直接用print()打出如下: def msg(text): --modify by yourself print(text) 根据记录的最大txn和client记录的txn比对超过500个事务报警: def selec

python_xep的博客 319

databus mysql搭建_Databus架构分析与初步实践(for mysql)

目前关于databus的相关资料较少,特别是针对mysql的文档尤为稀少。本篇文章中介绍了databus相关组件及实现原理,初步实现了databus对mysql数据库的数据抓取,希望对后续使用者能提供一定的参考作用。1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可...

weixin_42318812的博客 800

DATABUS遇到的问题

1、databus找不到master的first log name  原因:bin-log不是启始内容,与bin-log-index中记录的不一致等 修改方案:把bin-log清空,从头开始记录 2、 curl -s http://localhost:11115/containerStats/inbound/events/total?pretty | grep -m1 numDataEve...

ohyemybaby的专栏 475

Databus Relays

概述 Databus Relays主要负责以下两个工作: 从databus源数据库中读取变化行,并序列化为事件流保存至内存中;接受客户端的请求,并将数据变化事件流返回给客户端。 技术架构   Event Producer:用来读取数据库的变化事件,转化为AVRO类型并存储至内存中;Circular Buffer:Relay有一个或多个环形的缓冲池用来保存按递增

du_minchao的专栏 2257

Databus环境搭建

1、在my.cnf中增加以下配置 log_bin=on log_slave_updates=on binlog_format=row binlog_checksum=none 2、授权: GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'xxx'@'XXX' IDENTIFIED BY 'xxx'; GRANT SELECT, LOCK TABLES ON `mco_promotion`.* TO 'xxx'@'xxx'; 然后重启 .

xinruzhishui012的专栏 1162

MySQL 的 Binlog 日志处理工具(Canal/Maxwell/Databus/DTS)对比

点击上方“朱小厮的博客”,选择“设为星标”后台回复"书",获取Canal定位:基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql。原理:ca...

朱小厮的博客 2603
上一篇: mysql导出数据写入文本转成excel文档
下一篇: 读取excel内容加到mysql表字段注释
python_xep
博客等级 码龄11年 0粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值