python oracle数据抽取到mysql

最新推荐文章于 2024-03-14 15:30:16 发布

jerrfy_w

最新推荐文章于 2024-03-14 15:30:16 发布

阅读量434

点赞数 1

分类专栏： python 文章标签： etl

本文链接：https://blog.youkuaiyun.com/wzj_wp/article/details/103385539

版权

本文介绍了如何使用Python进行ETL操作，从Oracle数据库中抽取数据并将其转移到MySQL。首先，通过游标方式连接Oracle数据库并循环读取插入数据。其次，利用DataFrame格式处理数据，转换为DataFrame后，通过pandas的to_sql方法将结果写入MySQL，支持Excel数据的处理和爬虫获取的天气数据存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python数据库连接方式请查看此文章：https://blog.youkuaiyun.com/wzj_wp/article/details/103287498

一采取游标方式连接数据库

思路：列表的循环读取插入，如果是通过其他运算生成的类似于可以循环的列表形式，也可以用此方式，比如爬取天气数据，每天进行循环遍历；比如pandas计算相关系数，每个维度生成一条相关系数

import cx_Oracle
import pymysql

conn_oracle = cx_Oracle.connect('user','passwd','ip:port/db')
conn_mysql = pymysql.connect(host='ip', user='xxx', passwd='xxx', db='xx', port=xx, charset='utf8')
cur_mysql = conn_mysql.cursor()
cur_oracle = conn_oracle.cursor()
  
cur_oracle.execute("sql") ###从oracle查询的语句
result = cur_oracle.fetchall()
for r in result:
	cur_mysql.execute('sql',r) #sql为插入mysql的语句

实例