<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[python_xep的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/python_xep</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; python_xep]]></copyright><item><title><![CDATA[golang 连接oracle密码中带有特殊字符导致连接失败]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/127556020</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/127556020</guid><author>python_xep</author><pubDate>Thu, 27 Oct 2022 17:01:50 +0800</pubDate><description><![CDATA[golang 连接oracle密码中带有特殊字符导致连接失败]]></description><category></category></item><item><title><![CDATA[【golang转存mysql表】]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/125411245</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/125411245</guid><author>python_xep</author><pubDate>Wed, 22 Jun 2022 16:33:21 +0800</pubDate><description><![CDATA[go lang 连接mysql 转存数据]]></description><category></category></item><item><title><![CDATA[分析无主键表再做优化]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/117814186</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/117814186</guid><author>python_xep</author><pubDate>Fri, 11 Jun 2021 13:41:37 +0800</pubDate><description><![CDATA[背景
新接手一项目，需要优化表，首先表中存在一些无主键的表，不确认是否用到了自增id做主键。
需求：
1.把id是主键的表字段存一文件中 这部分表不需要改动，只是记录就好，但如果只是id为主键但不bigint的后续也需要改。
2.把存在主键 但不是id的表字段单独存在一文件中，后续需要做优化。
3.没有主键的也存在一文件中，这部分优先处理。
思路：
首先想到的是information_schema.tables 和 columns关联 可以查出第一列信息（一般主键id都放在第一列 也存在例外）第一步先把表中]]></description><category></category></item><item><title><![CDATA[验证oracle数据与mysql数据同步的一致性]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/116532646</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/116532646</guid><author>python_xep</author><pubDate>Sat, 08 May 2021 16:41:43 +0800</pubDate><description><![CDATA[背景
在之前搭建了databus 用于oracle数据同步到mysql，同时也用了otter+canal 用于mysql数据同步到oracle，之前也写过监控databus和验证数据的脚本，但也只是验证，真正邮件收到不一致的数据后需要来做修复。所以验证数据的脚本产生了。
思路
产生不一致的数据无非是mysql端或oracle端或多或少数据，我们只按照id来进行比对就好（每5000个id对比一次），通过set去重，最终结果输出到文本中。
代码
读取配制文件中的表名，将查到的结果存入set，用mysql ora]]></description><category></category></item><item><title><![CDATA[监控databus脚本]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/116193811</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/116193811</guid><author>python_xep</author><pubDate>Tue, 27 Apr 2021 10:41:32 +0800</pubDate><description><![CDATA[背景如上一文档
本文主要是监控databus同步数据的延迟问题，和其运行端口的监控。
引用模块代码如下：
import cx_Oracle
import re
import requests
import json

由于我们调用企业微信发信息这块代码先忽略，如果不涉及信息提醒可以直接用print()打出如下：
def msg(text):
  --modify by yourself
  print(text)

根据记录的最大txn和client记录的txn比对超过500个事务报警：
def selec]]></description><category></category></item><item><title><![CDATA[检验oracle与mysql库表数据发送邮件]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/116192086</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/116192086</guid><author>python_xep</author><pubDate>Tue, 27 Apr 2021 10:24:14 +0800</pubDate><description><![CDATA[背景：
由于我们的环境使用otter，将mysql数据同步到oracle ,也有databus，将oracle数据同步到mysql ，所以需要写监控数据延迟和比对数据一致性，先写数据一致性比对脚本。这个是初版，后续可以加上不一致的数据用相应颜色显示等等。
引用工具：
cx-Oracle  8.1.0
PyMySQL    1.0.2
requests   2.25.1
我们使用的python3.9 所以装cx-oracle时候一定要安装相应的版本。
cx_Oracle-8.1.0-cp39-cp39-man]]></description><category></category></item><item><title><![CDATA[读取excel内容加到mysql表字段注释]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/115477755</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/115477755</guid><author>python_xep</author><pubDate>Wed, 07 Apr 2021 09:33:38 +0800</pubDate><description><![CDATA[研发组需要同步表数据，但维护表结构注释是记录在Excel中，同步10几张表，字段注释几百行，手动加太麻烦，同时也防止后续再加，所以写了如下脚本。
脚本功能是读excel内容，第一列是表名/字段名 ，第二列是描述，第三列是demo （可以忽略）将字段注释使用alter table的方式加上。
1.先引用包  我们用的openpyxl ,调试中用到了pdb   连接数据库用的是pymysql
import openpyxl
import os
import pymysql
import pdb

hostnam]]></description><category></category></item><item><title><![CDATA[databus搭建文档记录]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/114963816</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/114963816</guid><author>python_xep</author><pubDate>Thu, 18 Mar 2021 10:49:42 +0800</pubDate><description><![CDATA[最近公司因需要同步oracle数据到mysql ，调研了Datax 对于大数据量的同步代价有些大。开源的databus 需要对源码做二次开发，才可以使用，前期我们搭建后，用自带的person表做了测试。确认可行后研发更改了源码。
准备工作：
1.配制gradle  和  java
2.ojdbc6-11.2.0.2.0.jar放到如下目录：
databus-master/sandbox-repo/com/oracle/ojdbc6/11.2.0.2.0/
更改defaultEnvironment.gradl]]></description><category></category></item><item><title><![CDATA[mysql导出数据写入文本转成excel文档]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/113857254</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/113857254</guid><author>python_xep</author><pubDate>Fri, 19 Feb 2021 09:34:52 +0800</pubDate><description><![CDATA[由于导出的数据量太大 预估可能需要百万行，用工具导几w行已是瓶颈，所以用sql查出数据 写入文本，再用Python写入excel。
select path ,size,createtime  
into outfile 'alldata.csv' FIELDS TERMINATED BY ','  OPTIONALLY ENCLOSED BY '"'  LINES TERMINATED BY '\n'   from pusher_2_days where createtime &gt; '2016-01-1]]></description><category></category></item><item><title><![CDATA[结构化数组]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/111302383</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/111302383</guid><author>python_xep</author><pubDate>Wed, 16 Dec 2020 20:34:43 +0800</pubDate><description><![CDATA[可以将结构化数据类型视为具有一定长度的字节序列（结构的项目大小），该字节序列被解释为字段的集合。每个字段在结构中都有一个名称，一个数据类型和一个字节偏移量。
– dtype(fieldname, datatype, shape)
1.元组列表，每个字段一个元组



np.dtype([(‘x’,‘f4’),(‘y’,np.float32),(‘z’,‘f4’,(2,2))])
dtype([(‘x’, ‘&lt;f4’), (‘y’, ‘&lt;f4’), (‘z’, ‘&lt;f4’, (2, 2))]]]></description><category></category></item><item><title><![CDATA[numpy 入门]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/111229947</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/111229947</guid><author>python_xep</author><pubDate>Tue, 15 Dec 2020 18:29:10 +0800</pubDate><description><![CDATA[– 生成0-9数组



a=np.arange(10)
a
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])



– numpy 去重 去重的下标



a=np.array([11,11,12,13,14,15,16,17,12,13,14,15,18,19,20])
a
array([11, 11, 12, 13, 14, 15, 16, 17, 12, 13, 14, 15, 18, 19, 20])




unique_value=np.unique(a)
uniqu]]></description><category></category></item><item><title><![CDATA[numpy  genfromtxt使用笔记]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/111184706</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/111184706</guid><author>python_xep</author><pubDate>Mon, 14 Dec 2020 20:18:04 +0800</pubDate><description><![CDATA[import numpy as np
np.indices((m,n)) 生成m*n矩阵 数值为0-m,0-n
–官网
https://numpy.org/doc/stable/user/basics.io.genfromtxt.html
genfromtxt运行两个主循环。第一个循环以字符串序列转换文件的每一行。第二个循环将每个字符串转换为适当的数据类型。此机制比单循环慢，但具有更大的灵活性。
–行拆分为列  delimiter 可以指定分隔符  宽度  None(多空格视为一个)    不会删除各个条目]]></description><category></category></item><item><title><![CDATA[ImportError: libtk8.5.so: cannot open shared object file: No such file or direct]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/109497713</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/109497713</guid><author>python_xep</author><pubDate>Wed, 04 Nov 2020 20:02:51 +0800</pubDate><description><![CDATA[在引用turtle模块时 报错

import turtle
Traceback (most recent call last):

File “”, line 1, in 
File “/usr/local/lib/python3.6/turtle.py”, line 107, in 
import tkinter as TK
File “/usr/local/lib/python3.6/tkinter/init.py”, line 36, in 
import _tkinter # If this fa]]></description><category></category></item><item><title><![CDATA[验证数据表的一致性]]></title><link>https://blog.youkuaiyun.com/python_xep/article/details/109472742</link><guid>https://blog.youkuaiyun.com/python_xep/article/details/109472742</guid><author>python_xep</author><pubDate>Tue, 03 Nov 2020 16:41:47 +0800</pubDate><description><![CDATA[@ （python验证数据表的一致性）
用到的模块
pymysql  --第三方 需要安装
configparser
背景
由于表之间没有使用外键，最近出现一些异常数据，需要把没有关联到的数据整理出来。设计思路如下：

使用配制文件读取DB连接信息；
创建配置表 记录主子表名和关联字段，另外记录当前执行的id，避免每次都要重新关联；
创建结果表记录异常数据；

config
$ cat config.cnf
[default]
host=192.68.4.40
user=username
password=]]></description><category></category></item></channel></rss>