python将大文件分割成小文件

最新推荐文章于 2025-06-17 18:20:32 发布

原创最新推荐文章于 2025-06-17 18:20:32 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #分割文件

Python学习专栏收录该内容

38 篇文章

订阅专栏

本文介绍了一种将大型JSON文件按批次读取并转换为CSV文件的方法，利用Python的pandas库实现数据处理流程，通过索引分组来提高处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd
import os

def read_josn(fn):
    df = pd.read_json(fn,lines=True)
    return df

# 核心思想是根据index与大数进行除法运算分组
def split_df_to_files(df):
    df['index'] = [x // 1000 for x in list(df.index)]
    groups = df.groupby('index')
    for i,group in enumerate(groups):
        group[1].to_csv('./train_data/' + str(i).zfill(5) + '.csv',index=False)

# 返回目录下的文件列表
def get_path_files(path):
    return os.listdir(path) if os.listdir(path) else []

def run_feature(file):
    df = pd.read_csv('./train_data/' +file)
    file_name,_ = os.path.splitext(file)
    feature_all = get_all_features(df)
    return feature_all

def main():
    
    # 分割文件到指定的目录下
    df = read_josn('1w.data')
    split_df_to_files(df)