Python查询oracle数据库速度慢

最新推荐文章于 2025-02-20 14:48:32 发布

xianya1013

最新推荐文章于 2025-02-20 14:48:32 发布

阅读量2.6k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/Outsider_Lily/article/details/85835016

本文介绍了如何使用Python连接各种数据库，包括Oracle、MySQL和SQLAlchemy，并提供了通过pandas读取数据库表数据的方法，强调了避免一次性获取大量数据的策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

conn = cx_Oracle.connect('username/password@ip:port/servername')
cur = conn.cursor()
cur.execute('SELECT * FROM "db"."table"')
cur是一个迭代器,不要用fetchall一次性取完數據
直接 for row in cur 即可取数据

使用：sqlalchemy

MySQL-Python
    mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>

pymysql
    mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]

MySQL-Connector
    mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>

cx_Oracle
    oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]

create_engine('oracle+cx_oracle://{a}:{b}@{c}:{d}/?service_name={e}'.format(a,b,c,d,e))
create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=utf8' % laoshifu_info)

1. df = pd.read_sql_table(table_name="table_name", con=engine)  
（the function to_sql is case-sensitive，Found the root cause from DBMS (mysql) autoconvert the table name to lowercase.）
2. df = pd.read_sql_query(sql=sql,con=engine)  # 很慢

3. 
ordf = pd.read_sql("SELECT * FROM db.table ",engine,chunksize=50000)
dflist = []
for chunk in ordf:
    dflist.append(chunk)
df = pd.concat(dflist)