python将大CSV文件拆分成固定数量的小文件，并重新指定分隔符和引号

阿天ATean

已于 2025-01-06 17:04:33 修改

阅读量109

点赞数 3

文章标签： python

于 2024-12-26 10:59:17 首次发布

本文链接：https://blog.youkuaiyun.com/cnngavij/article/details/144737428

版权

import pandas as pd
import csv

# 读取 output.csv 文件
df = pd.read_csv('output.csv')

# 计算每个文件应包含的行数
chunk_size = len(df) // 20

# 按行平均拆分为 20 个文件
for i in range(20):
    start_idx = i * chunk_size
    end_idx = (i + 1) * chunk_size if i < 19 else len(df)
    chunk_df = df.iloc[start_idx:end_idx]
    #设置内容用"包起来,用|分隔
    chunk_df.to_csv(f'output_{i+1}.csv', index=False,header=False, quotechar='"', quoting=csv.QUOTE_MINIMAL, sep="|",float_format='%.6f')