检验oracle与mysql库表数据发送邮件

大干货来了!从零开始发布一个ArcGIS Server地图服务 @[Toc] 此前从未接触过ArcGIS,对Oracle和postGre SQL也比较陌生。本文介绍了从零开始,到搭建环境,再到发布第一个ArcGIS地图服务的完整过程。 一、软件环境搭建 由于在地图制作时我们需要在 arcMap 中读取数据库中的地理数据,并且在发布地图服务时。arcGIS Server 也需要从数据库中读取数据并发布。所以我们需要建立起 arcMap----> 数据库 和 arcGIS Server----->数据库的连接。并且,由于我们可以在 arcMap 对 arc 阅读详情

背景:

由于我们的环境使用otter,将mysql数据同步到oracle ,也有databus,将oracle数据同步到mysql ,所以需要写监控数据延迟和比对数据一致性,先写数据一致性比对脚本。这个是初版,后续可以加上不一致的数据用相应颜色显示等等。

引用工具:

cx-Oracle 8.1.0
PyMySQL 1.0.2
requests 2.25.1
我们使用的python3.9 所以装cx-oracle时候一定要安装相应的版本。

cx_Oracle-8.1.0-cp39-cp39-manylinux1_x86_64.whl。我们也安装的oracle客户端 下载instantclient-basic-linux.x64-11.2.0.4.0.zip
instantclient-sqlplus-linux.x64-11.2.0.4.0.zip 解压后配制tnsnames.ora就好

smtplib是python自带的 但如果使用smtplib.SMTP_SSL 则需要安装open-ssl 然后再重新编译python。

引用代码:

import pymysql
import cx_Oracle
import pdb
import smtplib
from email.mime.text import MIMEText
from email.header import Header


读取表名称跳过#注释行 读取表的最大id和行数:

def readTableName(filename,ouser,opword,odb,muser,mpword,hostname,mdb):
  
  with open(filename,'r') as f:
    for fcon in f.readlines():
      fc = fcon.strip().strip('\n')
    # escape startswith # line
      if fc.startswith('#'):
        continue
      else:
      #execute sql
        try:
          #pdb.set_trace()
          info = 'table_name:{:30}  '.format(fc)
          writeFile(info)
          resstr='maxid:{:10}  count:{:10} '
          resm = executeSqlStatistic(hostname,muser,mpword,mdb,fc)
          #print(resm)
          myres = resstr.format(str(resm[0]),str(resm[1]))
          writeFile(myres)

          reso = executeStatistic(ouser,opword,odb,fc)
          #print(reso)
          orares = resstr.format(str(reso[0]),str(reso[1]))
          writeFile(orares)
          writeFile('\n')
        except Exception as e:
          print(e)

连接oracle代码:

#execute from oracle
def executeStatistic(user,pword,instance,table_name):

  conn = cx_Oracle.connect(user,pword,instance)
  cursor = conn.cursor()
  selsql = 'select max(id),count(1) from kcrm.{}'.format(table_name)

  cursor.execute(selsql)
  res =[]
  try:
    res = cursor.fetchone()
  except cx_Oracle.Error as err:
    print(err)
  finally:
    cursor.close()
    conn.close()
  #print(res)
  return res

连接mysql代码:

#execute from mysql
def executeSqlStatistic(hostname,uname,pword,db_name,table_name):

  conn = pymysql.connect(host=hostname, port=3306, user=uname, password=pword)
  cursor = conn.cursor()
  changedb = 'use `{}`'.format(db_name)
  cursor.execute( changedb )

  selsql = 'select max(id),count(1) from {}'.format(table_name)
  
  cursor.execute(selsql)  
  res=[]
  try:
    res = cursor.fetchone()
  except pymysql.Error as err:
    print(err)
  finally:
    cursor.close()
    conn.close()
  return res

写入文件代码:

#write statistic to file 
def writeFile(info,filename='/root/statistic_log'):
  with open(filename,'a+') as f:
    f.write(info)

发邮件代码:

#read filename send mail
def sendMail(msg):
  to_addr=['list@mail..','list@mail..','list@mail..']
  mimetext = MIMEText(msg,'plain','utf-8')
  mimetext['Subject'] = Header('Check consistency sync data','utf-8').encode()
  server = smtplib.SMTP_SSL('mail.xxx.net',465)
  #server.ehlo()
  #server.starttls()
  server.login('user','pwd')
  server.sendmail('usermail',to_addr,mimetext.as_string())
  server.quit()

主函数:

if __name__ == '__main__':
  with open('/root/statistic_log','w') as f:
    f.write('')
  hostname = ''
  mdb = 'dbname'
  muser = 'user'
  mpword = 'pwd'
  #readTableName(filename,ouser,opword,odb,muser,mpword,hostname,mdb):
  odb = 'ip:port/orcl'
  ouser = 'user'
  opword = 'pwd'
  readTableName('/root/check_table.txt',ouser,opword,odb,muser,mpword,hostname,mdb)
工业级数据科学项目落地指南:从业务嵌入到价值闭环 工业级数据科学不是算法竞赛,而是将数据分析能力深度融入真实业务流程的技术实践。其核心在于理解业务杠杆点、构建可解释可审计的三层系统架构(规则引擎+特征流水线+轻量模型),并通过MVP协同开发实现快速价值验证。关键技术价值体现在驱动一线动作、支撑财务量化归因、保障工程鲁棒性与跨职能协作契约。典型应用场景包括预测性维护、客户流失归因、智能巡检预警等产线级系统。本文聚焦‘业务嵌入’与‘价值闭环’两大关键热词,提供从痛点识别、数据接入、特征时间窗口设计到API化部署的全链路实操方法。 阅读详情

相关推荐

数据库勒索防护实战:构建3-2-1-1-0备份策略与应急恢复体系

数据备份是数据安全领域的核心基础技术,其原理是通过创建数据的冗余副本,确保在原始数据受损时能够恢复。在数据库运维中,备份不仅是防止硬件故障的常规手段,更是抵御勒索软件攻击的最后防线。现代勒索攻击常以数据库为靶心,通过加密数据实施勒索,这使得传统的备份策略面临挑战。从技术价值看,一个健壮的备份体系能实现业务连续性,最小化数据损失(RPO)和恢复时间(RTO)。其应用场景广泛,涵盖金融、电商、医疗等所有依赖数据库的关键行业。本文聚焦于数据库勒索攻击防护,深入探讨如何升级经典备份原则,构建包含离线与不可变副本的“

weixin_30681615的博客 339

非空校验在oracle和mysql中的用法

oracle判断是否为null nvl(参数1,参数2) ;如果参数1为null则返回参数2,否则返回参数1 mysql判断是否为null ifnull(参数1,参数2);如果参数1为null则返回参数2,否则返回参数1 select nvl(null,'空值') from dual 结果:空值 select nvl(0,'空值') from dual 结果:0 ...

人无远虑,必有近忧. 304

手把手教你用Ubuntu 22.04的附加驱动工具安装NVIDIA显卡驱动(含常见错误修复)

本文详细介绍了在Ubuntu 22.04系统上,如何通过图形化的“附加驱动”工具安全、便捷地安装NVIDIA显卡驱动。内容涵盖从准备工作、禁用默认的nouveau驱动、图形界面安装实操,到安装后的验证(如使用nvidia-smi命令),并提供了安装失败黑屏、亮度调节失效等常见问题的深度解决方案,帮助用户彻底搞定驱动安装难题。

weixin_29248653的博客 604

Mysql迁移后验证是否相同,oracle数据库迁移到mysql数据库怎么避免迁移过程中流程节点数据及状态丢失和怎么验证数据完整性?...

流程节点数据是指你们有多个数据库吗? 分库的意思吗? 没太懂。当数据迁移完成以后,如何确保数据的正确迁移,没有遗漏和错误是一个很难的问题,这里的难不是实现起来困难,而是把它自动化,然后节省人力有点难,因为两者的数据类型不同,数据量偏大,写一些脚本去做检查效果不大我们的数据校检工作主要分为在导入的过程中的log和警告,在load的时候SHOW WARNINGS和errors,在使用python、og...

weixin_39802962的博客 552

ESP32锂电池电量检测实战:从引脚选择到低功耗优化(附完整电路图)

本文详细介绍了ESP32锂电池电量检测的实战方案,从ADC引脚选择到低功耗优化,提供完整的电路图和代码实现。通过MOS管智能开关和深度睡眠技术,显著降低静态功耗至0.5μA,提升设备续航能力。适合物联网开发者解决电量检测中的常见问题。

weixin_28731223的博客 463

ADS Layout设计实战:从参数设置到协同仿真

本文详细介绍了ADS Layout设计的完整实战流程,从新建工程、单位设置、个性化偏好配置等基础操作入手,逐步深入到基板参数配置、端口设置与电磁仿真器选择等核心环节。重点阐述了参数化版图设计与扫描优化、以及原理图与Layout协同仿真的高级技巧,并通过一个微带线低通滤波器设计案例,完整演示了从理论到实现的闭环设计方法,帮助工程师高效、准确地完成高频电路版图设计与验证。

weixin_29268637的博客 802

验证oracle数据与mysql数据同步的一致性

背景 在之前搭建了databus 用于oracle数据同步到mysql,同时也用了otter+canal 用于mysql数据同步到oracle,之前也写过监控databus和验证数据的脚本,但也只是验证,真正邮件收到不一致的数据后需要来做修复。所以验证数据的脚本产生了。 思路 产生不一致的数据无非是mysql端或oracle端或多或少数据,我们只按照id来进行比对就好(每5000个id对比一次),通过set去重,最终结果输出到文本中。 代码 读取配制文件中的表名,将查到的结果存入set,用mysql ora

python_xep的博客 819

element的el-cascader组件动态加载,以及报错处理问题

Blocked aria-hidden on an element because its descendant retained focus. The focus must not be hidden from assistive technology users. 报错处理

weixin_56527169的博客 1265

oracle mysql 数据验证工具_数据管理器Navicat Premium使用教程:如何使用 MySQL 8 中的触发器验证数据...

Navicat Premium是一个可连接多种数据库的管理工具,它可以让你以单一程序同时连接到MySQL、Oracle及PostgreSQL数据库,让管理不同类型的数据库更加的方便。有一些非常好的理由可以解释为什么数据验证最好在数据库级别而不是在应用程序级别执行。例如,多个应用程序可以访问相同的数据源。因此,你可以依赖于数据的一致性和有效性,而不必依赖于在应用程序端应用不一致的验证逻辑。此外,触发...

weixin_28802993的博客 422

计算机组成原理(二)—— 数据的表示与运算

本章目录引言一、数制与编码1.1 进位计数制1.1.1 进制及转换1.1.2 真值、机器数1.2 BCD码1.3 ASCII 码1.4 校验码1.4.1 奇偶校验码1.4.2 海明码1.4.3 CRC循环冗余码二、定点数的表示和运算2.1 定点数的表示2.1.1 无符号2.1.2 有符号(原码、反码、补码、移码)2.2 定点数的运算2.2.1 移位运算2.2.2 加减运算(溢出判断)2.2.3 乘法运算2.2.4 除法运算2.3 强制类型转换2.4 数据的存储和排列三、浮点数的表示和运算3.1 浮点数的表示

S mile0804的博客 7479

手把手教你学simulink(16.8)--基于Simulink的小波变换滤波器(Wavelet Transform Filter)项目

基于Simulink的小波变换滤波器(Wavelet Transform Filter)项目的详细实例介绍。这个项目将重点放在小波变换滤波器的设计、实现和仿真上,帮助你理解和应用小波变换滤波器在信号处理中的作用。

MHD0815的博客 535

oracle2mysql 破解_Oracle2MySQL数据校验

0. 示例表数据root@localhost[demo]> select * from demo.tcustmer;+-----------+--------------------+-------------+-------+| CUST_CODE | NAME | CITY | STATE |+-----------+--------------------+-------------+...

weixin_27058835的博客 339

matlab 计算点云粗糙度

A Correspondence Framework for ALS Strip Adjustments based on Variants of the ICP Algorithm

点云侠的博客 1832

Oracle备份还原实践

一、项目背景:1.1 客户需求:将物理机房生产环境的Oracle/MySQL及阿里云的RDS数据库备份出来,存储到一个集中数据库存储服务器,实现异地备份,并且在还原环境内要将MySQL/Oracle以及阿里云RDS备份数据还原到测试环境,并判断还原数据库是否存在异常,检验数据的一致性,如有异常邮件或微信告警,每周生成Excel报表发送给负责人。1.2 需求要点:网络通信:阿里金融云/公有云/物理机...

weixin_34185560的博客 226

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

oracle12c安装完后怎么检验,图解Oracle12c 的安装及测试

下载Oracle for Windows版本官方下载地址:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html对了还要注意只记得电脑配置,大多数电脑是4个G内存,用的时候已经安装了很多东西,安装Oracle的时候很容易失败。一般要8G内存要好一点。第一步:到Oracle官网下载Oracl...

weixin_30599521的博客 837

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

oracle入门

oracle入门&登录方式&下载教程&新建表空间&新建数据表

m0_63223374的博客 2494

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

企业级数据库替代Oracle数据库

EnterpriseDB(以下简称EDB)是基于有20年历史的开源数据库PostgreSQL构建而成的,同Oracle数据库语法相兼容,几乎不用作任何修改,就可以将应用程序和数据从Oracle数据库中迁移过来。它具有出色的可靠性和延展性,并使用现今非常流行的开源经营模式,以更佳性价比的关系型数据库角色,进入中国市场。 新闻:IBM注资EnterpriseDB 据国外媒体2008年3月2...

更多惊喜欢迎访问www.itlife365.com和www.jiandanjie.com 683

网站主机技术

主机服务应该包括一定的电子邮件帐号和电子邮件服务器。

LinYueShan_W的博客 294

Penguins DbTools数据库管理移植差分工具(EXCEL相关) ver 20161008

ver 20161008 1.修正数据一览的检验BUG 工具下载地址: [url]https://sourceforge.net/projects/penguinsdbtools[/url] [img]http://dl2.iteye.com/upload/attachment/0113/3821/bdb349f0-0387-3eca-b4d1-83a65173aedf.p...

数据库工具开发 173

Unity游戏开发中MySQL高效交互架构与实战优化指南

在游戏开发中,数据持久化是核心需求,尤其对于需要管理海量玩家数据、配置和排行榜的中重度游戏。关系型数据库作为数据管理的基石,其高效交互涉及网络通信、连接池管理、SQL注入防范及序列化性能优化等多个工程实践环节。通过合理的架构设计,如服务端代理模式,可以构建安全屏障、实现逻辑中心化,并利用连接池、参数化查询、索引优化和事务处理来提升性能与可靠性。在Unity与MySQL的交互场景中,结合Entity Framework Core、Redis缓存等工具,能够有效应对排行榜、热数据同步等高频场景,为游戏提供稳定、

weixin_34185512的博客 369

Ubuntu 18.04 下 LEMP 部署 WordPress 的原理与生产实践

Web 服务器架构选择本质是并发模型与资源效率的权衡:Apache 基于进程/线程模型,而 Nginx 采用事件驱动异步非阻塞机制,在同等硬件下显著提升并发处理能力与响应速度。LEMP(Linux + Nginx + MySQL + PHP-FPM)由此成为高可用 WordPress 部署的事实标准,尤其适配 Ubuntu 18.04 这类强调稳定性的 LTS 系统——其内核级 TCP 优化、systemd 服务管理及 PHP 7.2 原生支持,共同构成性能与安全的黄金组合。本文聚焦真实生产环境中的组件协同

weixin_34115824的博客 292

BI与分析平台选型本质:按数据消费层级决策

BI和分析平台不是简单的可视化工具,而是支撑企业数据消费链路的核心基础设施。从基础报表(L1)到自助探索(L2)、归因诊断(L3)再到预测决策(L4),不同层级对应差异巨大的技术能力要求——语义建模能力决定业务口径一致性,计算下推能力保障千万级数据响应效率。忽视层级错配是90%选型失败的根源:用L1思维采购L3平台导致业务难上手,用L3预算选L1工具则IT持续救火。本文基于23个真实项目验证,聚焦数据源架构(湖/仓)、用户角色(看数者/提问者)、更新时效(T+1/实时)、组织模式(烟囱/中心化)及许可模型五

weixin_30561425的博客 410

从零开始发布一个ArcGIS Server地图服务

一、软件环境准备 1、安装Oracle服务端 2、安装Oracle客户端 3、ArcGIS Server安装 4、ArcGIS License安装 5、ArcGIS Desk安装 二、发布地图服务 1、在Oracle中创建空间数据库 创建名为 sde 的数据库用户 在 Oracle 的默认位置中创建 400 MB 的表空间,并将其设置为 sde 用户的表空间 授予 sde 用户创建和升级地理...

三分恶的博客 2601

sequoia(c-jdbc)初体验

一.多库系统研究情况两种体系结构: 1基于数据库引擎的多库系统(各主流数据库都提供了集群版本,主要有ORACLE RAC,Mysql high availability cluster,Microsoft SQL Cluster Server, IBM DB2 UDB High Availability Cluster, PostgreR)

风信子的专栏 1696
上一篇: 读取excel内容加到mysql表字段注释
下一篇: 监控databus脚本
python_xep
博客等级 码龄11年 0粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值