python 批量读取csv文件并合并表格

最新推荐文章于 2024-07-20 03:56:23 发布

原创最新推荐文章于 2024-07-20 03:56:23 发布 · 377 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

本文展示了如何使用Python的pandas和numpy库从文件夹中读取CSV数据，对数据进行分块处理，重塑结构，并删除重复值，最终保存到新的CSV文件中。

import pandas as pd
import numpy as np
import os


name_list = os.listdir('C:/.../直射辐射和散射辐射/2023')

for k in name_list:
        print('k=', k)
        df = pd.read_csv(r'C:/.../直射辐射和散射辐射/2023/' + k,
                         encoding='GBK')
        data_wind0 = list()
        df1 = df.iloc[1:, :]
        for i in range(9):
            print('i=', i)
            data_wind0.append(df1.iloc[:, 3 * i:3 * i + 2])
        data_wind = pd.DataFrame(np.reshape(data_wind0, (288 * 9, 2)))
        print('天=',data_wind.shape[0]/288)
        df_o = pd.concat([df_o, data_wind])
df_o.shape

df_o1=df_o.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)
df_o1.to_csv('data_re.csv', index=False)