合并一个目录下的所有csv文件

# -*- coding: utf-8 -*-

import pandas as pd
import os

# 设定所有文件存放路径
save_path='./data_networkflow/test/'
# 设定合并数据集存放路径
save_merge_path='./data_networkflow/test/'


def concat_df(save_path,save_merge_path):
    frames = []
    """合并数据框"""
    for parent, dirnames, filenames in os.walk(save_path):
        for filename in filenames:
            print("正在处理文件 %s" % filename)
            data1 = pd.read_csv(save_path + filename, sep=',', header=None)
            frames.append(data1)
            print('%s 第一个文件加入添加列表' %filename)

    # 合并所有数据集
    result = pd.concat(frames)
    # 输出数据到本地
    result.to_csv(save_merge_path+'result_test.csv', index=False, sep=',')

# 主函数
if __name__ == '__main__':
    concat_df(save_path, save_merge_path)