批量转换CSV-XLSX / 批量合并XLSX

最新推荐文章于 2024-11-28 13:08:35 发布

原创

最新推荐文章于 2024-11-28 13:08:35 发布 · 914 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #csv #excel #pandas

本文介绍了如何使用Python的pandas库将大量CSV文件批量转换为XLSX格式，并将多个XLSX文件合并到一个工作表中。在过程中遇到MemoryError，原因是缺少lxml包。通过安装lxml解决了问题，但因电脑内存限制，最终选择按半年分批合并文件。

转换

在王晓磊的个人网站里下载了近几年的全国空气质量数据

规格是每年365天每天一个csv文件，想整合到一个excel工作表中，先将其批量转换成xlsx文件。

import pandas
import os

for y in range(2016, 2021):
    for csv_name in os.listdir(r'\城市_{0}0101-{0}1231'.format(y)):  # os读取文件名
        csv = pandas.read_csv(r'\城市_{0}0101-{0}1231\\'.format(y) + csv_name, encoding='utf-8')  # pandas读取csv文件
        filename = csv_name.split('.', 1)[0]  # 截取文件名
        csv.to_excel(r'\城市_{0}0101-{0}1231\\'.format(y) + filename + '.xlsx', encoding='utf-8')  # .to_excel直接转换
        print(filename)

合并

在转换之后，文件还是零散的xlsx格式，想将其合并到同一个sheet中。

先创建数据帧列表，用.read_excel()将目标文件转换成数据帧，添加到列表中，最后用.concat将数据帧列表整合成一个数据帧，再将数据帧转换成xlsx格式。