纽约出租车计费问题：数据清洗与初探_纽约出租车数据清洗实验总结-优快云博客

本文详述了对纽约出租车大数据的清洗和初步探索过程，包括加载子集、删除缺失值和离群点、变量类型转换。通过对乘车日期、时间和星期的分析，探讨这些因素对车费的影响。结果显示，单人乘客车费最高，车费受时间影响，周日和周一的车费较高。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习案例详解的直播互动平台——
机器学习训练营（入群联系qq：2279055353）
下期直播案例预告：大数据预测商品的销售量波动趋势

这是“纽约出租车计费问题”的第二篇文章，重点介绍如何对大数据进行清洗整理，以及对整理后的数据进行初步的探索性分析。分析的要旨在于探索变量的分布规律，变量之间的关系等。

数据整理

加载数据子集

包括训练集和检验集在内的“纽约出租车运营”数据，训练集train.csv特别巨大，包括55,423,855行观测，因此我们仅导入100万行的子集进行分析建模。

import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)
import sklearn
import seaborn as sns
import matplotlib.pyplot as plt

train = pd.read_csv("../input/train.csv", nrows = 1000000)
test = pd.read_csv("../input/test.csv")

print(train.head())

在这里插入图片描述

print(train.describe())

在这里插入图片描述

删除缺失行与离群点

在训练集上建立预测模型，首先要检查训练集里是否有缺失值。如果有的话，则删除缺失行。

print(train.isnull().sum().sort_values(ascending=False))

在这里插入图片描述

#drop the missing values
train = train.drop(train[train.isnull().any(1)].index, axis = 0)
train.shape

检查目标变量fare_amount, 根据实际含义删除负值。

train['fare_amount'].describe()
from collections import Counter
Counter(train['fare_amount']<0)
train = train.drop(train[train['fare_amount']<0].index, axis=0)
train['fare_amount'].describe()

接着，我们检查乘客人数变量passenger_count.

print(train['passenger_count'].describe())

在这里插入图片描述
最大值是208个乘客，这是不可能的，所以删除这行观测。

train = train.drop(train[train['passenger_count']==208].index, axis = 0)
print