使用pandas清洗错误数据并保存成CSV文件

最新推荐文章于 2024-05-03 09:13:24 发布

DiamondTan-覃

最新推荐文章于 2024-05-03 09:13:24 发布

阅读量3.3k

点赞数 1

分类专栏： python 数据预处理

本文链接：https://blog.youkuaiyun.com/Tan_HandSome/article/details/80417458

版权

python 同时被 2 个专栏收录

17 篇文章

订阅专栏

数据预处理

3 篇文章

订阅专栏

本文介绍了一种使用Python的pandas库来读取飞行记录数据，并通过设置特定的阈值来识别并移除异常数据的方法。具体来说，如果飞机的高度小于20米而落地时间超过200秒，则认为该数据异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd
import numpy as np

A319 = np.array(pd.read_csv('A319_lr.txt'))
A319_pd = pd.read_csv('A319_lr.txt')

unormal = [] # 用于存储不正常数据的行号

for i in range(len(A319)):
    if A319[i][-1] > 200 and A319[i][2] < 20: #不正常数据判断条件，我的是判断如果飞机高度小于20，但是落地时间大于200秒，数据显然错误
     #   print(i)
        unormal.append(i)
print(unormal)

A319_pd.drop(A319_pd.index[unormal],inplace=True) # 删除不正常数据所在行
A319_pd.to_csv('A319_lr_normal.txt',index=False,sep=',') # 保存成CSV文件