Python DataFarme 存取数据库方式及其性能

白熊花田

于 2019-11-29 20:06:18 发布

阅读量536

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： Python Pandas 读数据取数据性能比较

本文链接：https://blog.youkuaiyun.com/whiterbear/article/details/103316826

本文探讨了Python Pandas DataFrame在读取和写入MySQL数据时的不同方法，包括原始方式与Pandas内置函数。研究发现，对于小规模数据，原生方法读取更快，而大规模数据时Pandas的`read_sql`更优。在写入方面，构建字典的方式比构建元组在大量数据时更高效，且速度比Pandas的`to_sql`快约50%，但`to_sql`胜在代码简洁和对缺失值的支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在实际开发过程中发现Python Pandas.DataFrame 包含直接读取MySQL表及存储MySQL表的函数，于是测试了不同方式读数据、写MySQL表数据的代码简易性及性能的研究。

1. 读数据

1.1 原有读数据方式：

def query_to_df(query, conn):
    try:
        cur = conn.cursor()
        cur.execute(query)
        r = cur.fetchall()
        cols = [n[0] for n in cur.description]
        arr = list(r)
        data = pd.DataFrame.from_records(arr, columns=cols)
    except:
        raise
    finally:
        close_conn_resource(conn, cur)
    return data

1.2 Pandas自带读数据方式：

def read_df_by_pd(query, conn):   
    try:
        data = pd.read_sql(query, conn

最低0.47元/天解锁文章

200万优质内容无限畅学