4、机器学习中的数据处理与多领域应用

机器学习中的数据处理与多领域应用

1. 缺失值填充

在处理数据时，缺失值是一个常见的问题。简单地丢弃包含缺失值的样本可能不是最佳选择，进行缺失值填充有时能带来更好的结果。不过需要注意的是，填充缺失值并不总是能提高预测效果，因此在进行任何填充操作前后，都要通过交叉验证来检查。有时删除行或使用标记值可能更有效，但这也可能导致不良影响，比如选择错误的模型。

操作步骤

1. 打开 Jupyter Notebook，运行示例代码。以下是示例代码：

import matplotlib
matplotlib.use('TkAgg')
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_diabetes
from sklearn.datasets import load_boston
from sklearn.ensemble import RandomForestRegressor
from sklearn.pipeline import make_pipeline, make_union
from sklearn.impute import SimpleImputer, MissingIndicator
from sklearn.model_selection import cross_val_score
import pandas as pd
import os

rng = np.random.RandomState(0)
si