监控databus脚本

使用databus实现oracle和内存数据库redis之间的数据同步 最近需要做oracle和redis的数据同步,找到了databus作为中间件,这个玩意是linkin的开源项目(奥巴马的封箱段子秀上说要在linkin上投简历,来头不小啊)。 资料大多是英文,而且用了gradle做编译打包工具,原理性的东西github上有介绍,https://github.com/linkedin/databus/wiki 把操作步骤分享出来: 1.新建用户 脚本: 阅读详情

背景如上一文档

本文主要是监控databus同步数据的延迟问题,和其运行端口的监控。

引用模块代码如下:

import cx_Oracle
import re
import requests
import json

由于我们调用企业微信发信息这块代码先忽略,如果不涉及信息提醒可以直接用print()打出如下:

def msg(text):
  --modify by yourself
  print(text)

根据记录的最大txn和client记录的txn比对超过500个事务报警:

def select_scn(scn):
  conn = cx_Oracle.connect('user','pass','ip:prot/instance')

  cursor = conn.cursor()

  sqlmaxtxn = 'select max(txn) from SY$TXLOG'

  cursor.execute(sqlmaxtxn)

  maxval = cursor.fetchone()

  if maxval is None:
    #SY$TXLOG no data 
    print('Warning:TXLOG no data!')
    return 

  #according max txn   get sequence
  sqlscn = 'select txn,to_char(scn) from SY$TXLOG where scn={}'.format(scn)
  ayscid = cursor.execute(sqlscn)
  curval = cursor.fetchone()

  #behind 500 transaction alert error
  if maxval[0] - curval[0] > 500:
    msg('Behind transaction > 500+',maxval[0],' ',curval[0])
  else:
    print(maxval[0],' ',curval[0])

  cursor.close()
  conn.close()

读取client的日志文件 得到txn

def getScnFromFile(file_path):
  with open(file_path,'rb') as f:
    f.seek(-5000,2)
    #read last 500 byte
    contentlf = f.read()
    rseq = re.findall(b'Sequence=\d+',contentlf)
    if len(rseq) < 0:
      #may be get error 
      print(contentlf)
      return contentlf
    else:
      sequence = rseq[len(rseq) -1]  #get last one
    
    #split sequence [b'Sequence=11508772259']
    strseq = bytes.decode(sequence)
    _,intseq = strseq.split('=')
    
    #intseq is current sequence 
    return intseq 

测试端口是否正常:

def checkport():
  reurl = 'http://localhost:11116/sources'
  res = requests.get(reurl)
  if 'Failed' in res:
    msg('Error: Service port not start!')
  clurl = 'http://localhost:11116/relayStats/outbound/http/clients'
  res = requests.get(clurl)
  if 'Failed' in res:
    msg('Error: Service port not start!')

主函数:

if __name__ == '__main__':
  checkport()
  res = getScnFromFile('/databus-master/client/logs/client.log')
  print(res)
  if len(res)>300:
    #error can't get sequce 
    print(res)
    msg(res)
  else:
    select_scn(res)
  
教你搞懂RT-Thread的移植和配置ENV工具环境 RT-Thread的移植和配置ENV工具环境 阅读详情

相关推荐

自动驾驶仿真:python和carsim联合仿真案例

carsim内部有许多相关联合仿真的demo,simulink、labview等等都有涉及,这里简单介绍下python和carsim联合仿真的方法,虽然carsim官方有个Steer_Control.py相关的案例,但是感觉比较冗余,这里抽出重点部分和大家交流探讨下。提示:以下是本篇文章正文内容,下面案例可供参考1、这里关于solvers的细节其实都没说,因为里面确实也没什么内容好讲的,本质就是调用carsim.dll,如果你需要更多的函数解析其实可以看vs_api.h,路径在,具体内容如下图所示。

zataji的博客 9066

Databus for Mysql

首先准备Mysql环境,本次使用的Mysql版本是5.7 root/Welcome_1:3306 1.配置mysql mysql需要配置的有三点: 开启binlog, 设置binlog格式为ROW(mysql5.7版本默认格式就是ROW,所以这里我没有更改) 禁用binlog_checksum 开启binlog的方法: vim /etc/my.cnf ## 添加如下内容: server-id...

在平坦的路上曲折前行 1549

abb机器人指令手册_ABB机器人配置圆形输送链跟踪

更多内容请点击上方ABB机器人实战技巧关注也可点击公众号下方往期经典浏览更多内容转载请先后台留言,大家一起支持原创,推动机器人使用和发展本公众号对各类ABB机器人应用,仿真,毕业设计提供技术支持,详细后台留言本公众号诚挚希望与各机器人培训机构,机器人使用单元合作,提供技术支持,详细后台留言1. 通常的机器人输送链跟踪,均为直线输送链跟踪,例如下图2. 有些情况,输送链为圆形,例如...

weixin_39849894的博客 2048

大数据时代,数据实时同步解决方案的思考—最全的数据同步总结

1、 早期关系型数据库之间的数据同步 1)、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中,通常的做法就是 分页查询源端的表,然后通过 jdbc的batch 方式插入到目标表,这个地方需要注意的是,分页查询时,一定要按照主键id来排序分页,避免重复插入。 2)、基于数据文件导出和导入的全量同步,这种同步方式一般只适用于同种数据库之间的同步,如果是不...

weixin_30677617的博客 7496

HFSS仿真的后处理结果,如何根据天线表面的电流密度分布对天线进行优化?

在HFSS仿真中,天线表面的Jsurf​是最直观、最有价值的诊断工具之一。它不仅告诉你天线“能不能工作”,还能告诉你“为什么工作”以及“哪里出了问题”。

degogmy的博客 1163

CSP-J/S复赛文件组织与freopen读写全攻略,避免爆零

在信息学竞赛的上机考试中,代码能力固然重要,但文件组织与输入输出重定向往往是决定成败的关键细节。许多选手习惯在线评测环境,对本地文件命名、目录层级和读写方式缺乏系统认知,导致算法正确却因文件名拼写错误或freopen使用不当而遗憾失分。理解评测系统的工作原理,掌握从建立准考证号目录到规范命名源文件,再到使用freopen进行文件流重定向的标准流程,是每位参赛者的必备技能。这种工程化习惯不仅适用于CSP-J/S复赛,也是未来参加NOI等更高水平竞赛的基础。本文从文件组织的底层逻辑出发,结合实战案例,系统讲解考

weixin_32466193的博客 597

python爬虫进阶(八):分布式系统的高可用与高并发处理

一、应对高并发的基本思路 1、加快单机的速度,例如使用Redis,提高数据访问频率;增加CPU的内核数,增大内存; 2、增加服务器的数量,利用集群。

qq_36032990的博客 4612

【智能优化算法】2024年SCI鳗鱼-石斑鱼优化算法(EGO),含MathType公式、word伪代码、visio流程图、matlab代码等。

该文中包括5个内容:用MathType编辑的公式、伪代码、visio的流程图,matlab代码,PDF论文,拿来直接用,可以帮助科研者省下超多时间。 鳗鱼-石斑鱼优化算法(Eel and grouper optimizer ,EGO)是一种新型的元启发式算法(智能优化算法),灵感来源于海洋生态系统中鳗鱼和石斑鱼的共生作用和觅食策略。该成果由Ali Mohammadzadeh和Seyedali Mirjalili两位作者于2024年6月发表在SCI著名期刊《Cluster Computing》上。

2301_79359347的博客 1044

Databus--低延迟的分布式数据库同步系统(Canal类似)

1、简介 Databus是一个低延迟、可靠的、支持事务的、保持一致性的分布式数据库同步系统。它提供可靠的数据捕获、流转和数据处理功能。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。github地址是:https://github.com/linkedin/databus 2、Databus有以下 特点&功能&特性 数据源和消费者之间的隔离。 来源独立:Databus支持多种数据来源的..

. 4905

OpenOCD入门到精通:第28章 综合实战:RISC-V 调试

RISC-V调试实战摘要 本文介绍了RISC-V调试规范及其在OpenOCD中的实现。主要内容包括: RISC-V Debug规范的两个版本(0.11和0.13)及其差异,OpenOCD通过自动检测DTMCS寄存器版本号选择对应驱动实现。 RISC-V调试架构的分层设计,包含DTM、Debug Module、Program Buffer等核心组件,以及三种内存访问方式(progbuf、sysbus、abstract)。 以GD32VF103为例的实战调试配置,包括硬件连接、OpenOCD配置文件编写和GDB

从事嵌入式linux android驱动开发,拥有全栈能力 285

贝叶斯地理统计模型R-INLA-1

贝叶斯地理统计模型R-INLA-1

学习中 2426

跨数据库同步方案汇总

Datax 一般比较适合于全量数据同步,对全量数据同步效率很高(任务可以拆分,并发同步,所以效率高),对于增量数据同步支持的不太好(可以依靠时间戳+定时调度来实现,但是不能做到实时,延迟较大)。 Canal 、databus 等由于是通过日志抓取的方式进行同步,所以对增量同步支持的比较好。 OGG 太贵 一、早期关系型数据库之间的数据同步 二、大数据时代下的数据同步 三、总结 一、早期关系型数据库之间的数据同步 1)、全量同步 比如从oracle数据库中同步一张表的数据到My

jnrjian的博客 2万+

docker命令_获取镜像,创建容器,启动容器,进入容器,退出容器,停止容器,删除容器,列出镜像,删除镜像

1.数据准备

C/C++、嵌入式开发、深度学习算法、模型部署与推理优化 1084

oracle数据库redis,使用databus实现oracle和内存数据库redis之间的数据同步-Oracle

最近需要做oracle和redis的数据同步,找到了databus作为中间件,这个玩意是linkin的开源项目(奥巴马的封箱段子秀上说要在linkin上投简历,来头不小啊)。资料大多是英文,而且用了gradle做编译打包工具,原理性的东西github上有介绍,https://github.com/linkedin/databus/wiki把操作步骤分享出来:1.新建用户脚本:命令:./create...

weixin_39615741的博客 894

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

蓝鲸社区版_部署bkdata服务无法启动问题

问题:蓝鲸社区版完整部署,执行安装bkdata时,报“databus.service.consul start failed.”[root@paas-1 install]# ./bkcec start bkdata[192.168.50.117]20181212-091416 72 starting bkdata(ALL) on host: 192.168.50.115"...

weixin_33915554的博客 3379

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Databus for Oracle

Databus组成 Relay :数据抓取端 读取数据源变更行(ROW),并将变更行数据序列化到内存缓冲区。 监听客户端请求并传输缓冲区的数据。 Client:数据客户端 检查Relay端的数据变更,并同步数据。 如果与Relay之间数据变更相差太大、会执行追溯功能。 注:单个客户端既可以处理全部Databus数据流,也可以作为集群的一部分处理一小部分数据流。 bootstrap-pr...

在平坦的路上曲折前行 3556

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Kafka、Flume 与 Databus 的区别

weixin_51243388的博客 416

Databus 开源项目教程

Databus 是一个由 LinkedIn 开发的开源数据同步系统,旨在实现高效、可靠的数据变更捕获和传播。它能够实时地将数据库中的变更事件捕获并同步到其他系统或存储中,适用于需要实时数据同步的场景。Databus 支持多种数据源和目标,并且具有高扩展性和容错性。 ## 2. 项目快速启动 ### 2.1 环境准备 在开始之前,请确保你已经安装了以下软件: - Java 8 或更高版本 -...

gitblog_00139的博客 667

为什么在企业级数据迁移场景中使用 Databus 而不是 Canal?

为什么在 企业级数据迁移场景中使用 Databus 而不是 Canal?

qq_43857727的博客 270

为方便查找 转 Databus和canal对比

自律给我自由 673

分布式日志传输系统Databus(一)--系统介绍

Databus系统是微博DIP团队开源的分布式日志传输系统。它是一个分布式、高可用的,用于采集和移动大量日志数据的服务。它基于流式数据的简单而灵活的架构,具备健壮性和容错性,具有故障转移与恢复机制。它采用简单的可扩展的数据投递模型,允许用户自定义扩展传输组件。 主要特性返利网站 https://www.cpa5.cn/ All-In-One 所有的日志传输通道整合到一个系统,避免针对每种业务相应地定制一套日志传输组件,这样随着业务的增多,运维压力会剧增。 热加载 在JVM无需重启的情况下,可以添加、更新、.

nidongla的博客 827

Databus入门教程:10分钟快速搭建你的第一个CDC管道

Databus是一款功能强大的Source-agnostic distributed change data capture(CDC)系统,能够帮助开发者轻松实现数据变更捕获与同步。本教程将带你快速上手,在10分钟内搭建起你的第一个CDC数据管道,无需复杂配置,让数据流动更简单高效。 ## 什么是Databus?为什么选择它? Databus作为一款开源的分布式CDC系统,具有三大核心优势:

gitblog_00225的博客 515

MySQL 的四种 Binlog 日志处理工具:Canal、Maxwell、Databus和 阿里云 DTS

MySQL 的四种 Binlog 日志处理工具:Canal、Maxwell、Databus和 阿里云 DTS

qq_43857727的博客 1189

DataBus项目相关

1、数据孤岛是什么? “企业发展到一定阶段,出现多个事业部,每个事业部都有各自数据,事业部之间的数据往往都各自存储,各自定义。每个事业部的数据就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动。”我们把这样的情况称为数据孤岛。简单说就是数据间缺乏关联性,数据库彼此无法兼容。 专业人士把数据孤岛分为物理性和逻辑性两种。物理性的数据孤岛指的是,数据在不同部门相互独立存储,独立维...

g1607058603的专栏 728

数据同步组件:Canal、Maxwell、Databus、DBSyncer、MongoShake、DTS

数据同步组件:Canal、Maxwell、Databus、DBSyncer、MongoShake、DTS

lonelymanontheway的博客 439

MySQL 的 Binlog 日志处理工具(Canal/Maxwell/Databus/DTS)对比

点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Canal定位:基于数据库增量日志解析,提供增量数据订阅&消费,目前主要...

http://www.54tianzhisheng.cn/ 201
上一篇: 检验oracle与mysql库表数据发送邮件
下一篇: 验证oracle数据与mysql数据同步的一致性
python_xep
博客等级 码龄11年 0粉丝 11原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值