Python DataFarme 存取数据库方式及其性能

前言

在实际开发过程中发现Python Pandas.DataFrame 包含直接读取MySQL表及存储MySQL表的函数，于是测试了不同方式读数据、写MySQL表数据的代码简易性及性能的研究。

1. 读数据

1.1 原有读数据方式：

def query_to_df(query, conn):
    try:
        cur = conn.cursor()
        cur.execute(query)
        r = cur.fetchall()
        cols = [n[0] for n in cur.description]
        arr = list(r)
        data = pd.DataFrame.from_records(arr, columns=cols)
    except:
        raise
    finally:
        close_conn_resource(conn, cur)
    return data

1.2 Pandas自带读数据方式：

def read_df_by_pd(query, conn):   
    try:
        data = pd.read_sql(query, conn