42、数据清洗与预处理：从原始数据到可用信息

数据清洗与预处理：从原始数据到可用信息

在数据分析和机器学习领域，数据清洗和预处理是至关重要的步骤。它能够将原始的、杂乱的数据转换为适合分析和建模的格式。下面将详细介绍数据清洗和预处理的具体操作和技术。

1. 数据清洗

当数据以表格形式呈现时，为了进行多维度的数值分析，我们需要对数据格式进行优化。

1.1 将数值数据转换为实际数字

在处理数据时，所有数据最初都以文本形式输入，直到我们明确告知 pandas 将其转换为数值类型。以下代码可将 BirthYear 和 DiagnosisYear 列转换为数值类型：

#%% Change numeric data into appropriate format
# force some columns to have numeric data type
user_df['BirthYear'] = pd.to_numeric(user_df['BirthYear'], 
errors='coerce')
user_df['DiagnosisYear'] = pd.to_numeric(user_df['DiagnosisYear'], 
errors='coerce')

errors='coerce' 参数的作用是尝试将数据强制转换为数值类型。若无法转换，如遇到“-----”这样的值，会将其替换为 NaN （非数字）。虽然 NaN <