Python中,一次性往Excel写入几十万条数据

本文介绍如何使用openpyxl和pandas高效地清除并更新Excel指定工作簿中的数据,同时保持其他工作簿不变。通过比较数据长度来决定是否需要重建工作簿,并一次性写入大量数据。

最近有一个往Excel文件中不同的工作簿写入大量数据的需求,如下图所示,有三个工作簿,每个工作簿中的数据量不同,向一个工作簿中写入数据时需要将上一次写入的数据清空,且其它两个工作簿的数据不能清空。
在这里插入图片描述
网上大部分的教程都是一条一条的往里面写入,这种效率太低,而且耗时太长。或者就是一次往一个工作簿写入数据时,会将之前的全部数据覆盖,也不太符合要求。
下面是自己的实现方式
我使用的是openpyxl和pandas模块相结合使用的。在写入数据时,首先会将写入的数据长度与Excel表中某一个工作簿中的数据长度进行对比,若写入数据的长度小于Excel表中某一个工作簿中的数据长度,则将该工作簿进行移除并重新创建,详细代码如下。

if len(data) < int(df_rows):
    Title = [u'模拟数据', u'平均值', u'方差', u'散斑对比度']
    book = load_workbook(AllPath + r"\Simulate.xlsx")
    # 获取Excel表格中的所有sheet
    sheets = book.worksheets
    for i in range(len(sheets)):
        strV = ''
        valueIndex = str(sheets[i])
        print(f'valueIndex={valueIndex}')
        for j in range(12, len(valueIndex) - 2):
            strV += valueIndex[j]
            print(f'strV={strV}')
        if strV == SHEET:
            Sheet = book[SHEET]
            book.remove(Sheet)
    Coefficient = book.create_sheet(index=0, title=SHEET)
    Coefficient.append(Title)
    book.save(AllPath + r"\Simulate.xlsx")
    book.close()

在判断完数据后,将几十万条数据一次全部写入Excel中的某一个工作簿,具体代码如下

df = pd.DataFrame(data)
book = load_workbook(AllPath + r"\Simulate.xlsx")
with pd.ExcelWriter(AllPath + r"\Simulate.xlsx") as writer:
    writer.book = book
    writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
    df.to_excel(writer, sheet_name=SHEET, startrow=1, index=False, header=False)

最后就能实现上述的需求了。
源代码链接

评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值