Numpy pandas 数据读取写入

import pandas as pd
import os
import numpy as np

def read_folder(file_dir):
    L=[]
    for root,dirs,files in os.walk(file_dir):
        for file in files:
            L.append(file)
            L.sort()
    return L

if __name__=='__main__':
    L=read_folder('/home/data/df_pcl/data/submit_example')
    total_point=[]
    print('the number of test:'+str(len(L)))
    count=1
    for j in range(len(L)):
        csv_data=pd.read_csv('/home/data/df_pcl/data/submit_example/'+str(L[j]))
        csv_data=np.array(csv_data)
        print('file order'+str(count)+', process '+str(L[j])+', total point '+str(csv_data.shape[0]))
        csv_data[:]=3
        csv_data=csv_data.flatten()
        csv_data=csv_data.tolist()
        pd_data=pd.DataFrame(csv_data,columns=['0'])
        pd_data.to_csv('/home/data/df_pcl/data/submit_example_our/'+str(L[j]),encoding='utf-8',index=False)
        total_point.append(len(csv_data))
        count=count+1
    average_point=float(np.sum(total_point))/(len(L))
    print('average_point: '+str(average_point))
NumPyPandas是Python中两个用于数据分析的重要库。NumPy是一个数学库,提供了多维数组对象和用于处理这些数组的函数。它是大多数数据科学工具和库的基础。Pandas是一个数据处理和分析库,它建立在NumPy之上,提供了用于处理和操作结构化数据的高级数据结构和函数。 NumPy的主要特点是它的多维数组对象(也称为ndarray),它可以存储相同类型的元素。这使得NumPy非常适合进行数学和统计计算,以及处理大规模数据集。NumPy还提供了许多用于数组操作的函数,包括索引、切片、聚合操作、线性代数、傅里叶变换等。在数据分析中,NumPy常用于数据清洗、转换和计算。 Pandas是基于NumPy构建的,它提供了两个主要的数据结构:Series和DataFrame。Series是一维标记数组,类似于带有标签的NumPy数组。DataFrame是一个二维表格,类似于Excel或SQL表。Pandas提供了丰富的功能,包括数据读取写入数据清洗、数据过滤、数据聚合、数据可视化等。 Pandas的优势在于它的表格结构和灵活的数据处理能力。它可以处理不同类型的数据(整数、浮点数、字符串等),并且可以进行缺失值处理和重复值处理。此外,Pandas还提供了强大的数据操作功能,如合并、拼接、分组和透视等。 综上所述,NumPyPandas是两个在数据分析中广泛使用的Python库,它们提供了高效的数据处理和分析工具,能够满足不同场景下的需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值