insert、to_sql、copy_from 3种写入PG数据库代码效率对比

最新推荐文章于 2024-01-07 10:25:18 发布

kunkun_1230

最新推荐文章于 2024-01-07 10:25:18 发布

阅读量4k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： SQL Python 文章标签： SQL

本文链接：https://blog.youkuaiyun.com/weixin_44731100/article/details/102677927

本文对比了三种将数据写入PostgreSQL数据库的方法：1) 使用insert命令，2) pandas的to_sql方法，3) psycopg2的copy_from方法。实验结果显示，对于13642条数据，insert命令用时约5s，对内存影响大；to_sql用时约8s，内存占用小；而copy_from最快，不到1s，成为最佳选择。需要注意的是，使用copy_from时需指定columns参数以确保数据正确写入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

昨天写入PG的时候直接用insert命令拼接字符串被数据库的同事批了，o(╥﹏╥)o

这里我测试了3种写入PG数据库的方式，数据源为1个含有13642条数据的csv，并进行了一个对比：

1.insert命令写入

具体的命令代码见我的这篇文章：https://blog.youkuaiyun.com/weixin_44731100/article/details/88534304

可见，写入13642条数据用时约5s。

但是这种方式是用了一种拼接字符串的方式，一次性写入1w条数据，想想这个字符串的长度都可怕，我保存了一下发现这条写入1w条数据的SQl文本大小约为386M。可见，这种方式对于数据库内存影响很大。


"insert into table_name
(warehouse_code,storehouse_code,zone_code,picking_zone_code,picking_type,location_code,\
gds_id,kunnr,yest_tot_qty,week_tot_qty,month_tot_qty,week_avg_prlab,month_avg_prlab,\
present_storage,start_date,end_date,week_flag,unsaleble_flag,super_A,sales_segment,\
present_class,week_avg_qty,month_avg_qty,now_level,pred_level,statis_date,\
prediction_