python——快速读取excel文件并插入数据库

最新推荐文章于 2023-12-18 17:47:44 发布

原创最新推荐文章于 2023-12-18 17:47:44 发布 · 3.8k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#postgre #python #excel

python 专栏收录该内容

68 篇文章

订阅专栏

本文介绍了一种将Excel文件中的数据加载到PostgreSQL数据库的方法。通过使用Python的pandas库来读取Excel文件，并利用sqlalchemy连接PostgreSQL，实现数据的高效批量导入。此过程还涉及添加额外的标识字段。

部署运行你感兴趣的模型镜像

写一个小功能。

    import cStringIO
    import pandas as pd
   from sqlalchemy import create_engine
    path = "D://Users//xxxx/Desktop//"
    file = pd.read_excel(path+'test.xlsx')
    file['ismodified'] = 0
    engine = create_engine('postgresql+psycopg2://xxx:xxx@ip:port/xxxx')
    output = cStringIO.StringIO()
    # ignore the index
    file.to_csv(output, sep='\t', index=False, header=False)
    output.getvalue()
    # jump to start of stream
    output.seek(0)
    connection = engine.raw_connection()
    cursor = connection.cursor()
    # null value become ''
    cursor.copy_from(output, 'table_name', null='')
    connection.commit()
    cursor.close()

此脚本用于读取excel文件并且加上index以及用于标识是否修改的列（默认为0，即未做修改）。随后插入postgre数据库。

excel格式如下：