python oracle数据抽取到mysql

Python ETL实践：Oracle到MySQL数据迁移

最新推荐文章于 2024-03-14 15:30:16 发布

原创

最新推荐文章于 2024-03-14 15:30:16 发布 · 467 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#etl

本文介绍了如何使用Python进行ETL操作，从Oracle数据库中抽取数据并将其转移到MySQL。首先，通过游标方式连接Oracle数据库并循环读取插入数据。其次，利用DataFrame格式处理数据，转换为DataFrame后，通过pandas的to_sql方法将结果写入MySQL，支持Excel数据的处理和爬虫获取的天气数据存储。

python数据库连接方式请查看此文章：https://blog.youkuaiyun.com/wzj_wp/article/details/103287498

一采取游标方式连接数据库

思路：列表的循环读取插入，如果是通过其他运算生成的类似于可以循环的列表形式，也可以用此方式，比如爬取天气数据，每天进行循环遍历；比如pandas计算相关系数，每个维度生成一条相关系数

import cx_Oracle
import pymysql

conn_oracle = cx_Oracle.connect('user','passwd','ip:port/db')
conn_mysql = pymysql.connect(host='ip', user='xxx', passwd='xxx', db='xx', port=xx, charset='utf8')
cur_mysql = conn_mysql.cursor()
cur_oracle = conn_oracle.cursor()
  
cur_oracle.execute("sql") ###从oracle查询的语句
result = cur_oracle.fetchall()
for r in result:
	cur_mysql.execute('sql',r) #sql为插入mysql的语句

实例

import cx_Oracle
import pymysql
conn_oracle = cx_Oracle.connect('hd40','f1y102#h9','125.76.225.59:10502/HDAPP')
conn_mysql = pymysql.connect(host='192.168.16.80', user='root', passwd='kIye|Nx42Ml63]Jfu1J',