python 批量合并csv

批量合并CSV文件与高效数据处理策略

最新推荐文章于 2025-01-02 14:31:14 发布

原创最新推荐文章于 2025-01-02 14:31:14 发布 · 1.1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

python技巧专栏收录该内容

10 篇文章

订阅专栏

这篇博客介绍了两种处理CSV文件的方法。第一种适用于少量小文件的合并，通过`pd.concat`函数实现。第二种针对大量大文件且内存有限的情况，采用追加写入方式节约内存，确保数据按列存储。这两种方法在数据处理中提供了灵活性和效率。

1.当csv数量在10以下，每个csv量很小时：

import pandas as pd
def merge_csv_file(path=None, col_name=[], file_type='csv'):
    """
    遍历并合并文件夹里的文件
    :param path: 文件夹路径
    :param col_name: 列名
    :param file_type: 文件类型
    :return:
    """
    data = pd.DataFrame()
    for _, _, filenames in os.walk(path):
        if file_type == 'csv':
            for filename in filenames:
                if '.csv' in filename:
                    data1 = pd.read_csv(path + filename, names=col_name)
                    data = pd.concat([data, data1], axis=0)
            return data
        elif file_type == 'xlsx':
            for filename in filenames:
                if '.xlsx' in filename:
                    data1 = pd.read_excel(path + filename, names=col_name)
                    data = pd.concat([data, data1], axis=0)
            return data

2.当csv很多，单个csv量也很大，内存不是很大，而且想要快速，可以用追加的方式

import os
import pandas as pd
def append_csv(csvs_path, save_file_path_and_name, save_col):
    '''
    
    :param csvs_path: 批量csv存放的位置
    :param save_file_path_and_name: 合并后存放数据的文件路径+名称
    :param save_col: 想要保存的列【加上这个可以保证数据按列存储是不会乱】
    :return: 
    '''
    for _, _, filenames in os.walk(csvs_path):
        for i in filenames:
            if '.csv' in i:
                data = pd.read_csv(csvs_path + i)
                data[save_col].to_csv(save_file_path_and_name, mode='a', header=False)
    return True