交互特征与多项式特征

最新推荐文章于 2025-03-22 13:08:48 发布

Taohongfei_huster

最新推荐文章于 2025-03-22 13:08:48 发布

阅读量3.9k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：机器学习 sklearn 特征工程

本文链接：https://blog.youkuaiyun.com/qq_41951186/article/details/83065100

本文探讨了在机器学习中如何丰富特征，尤其是针对线性模型，通过添加原始数据的交互特征和多项式特征。以波士顿房价数据集为例，展示了如何创建这些特征，并比较了在Ridge回归和随机森林模型中使用它们的效果。结果显示，虽然Ridge在使用交互特征后性能提升，但随机森林即使不依赖这些特征也能表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、多项式特征

想要丰富特征，特别是对于线性模型而言，除了分箱外，另一种方法是添加原始数据的交互特征和多项式特征。对于给定的特征x，我们可以考虑x，x**2、x**3等，可用preprocessing模块的PolynomialFeatures实现。同样采用wave数据集进行分析。

from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.preprocessing import PolynomialFeatures
#导入数据 
X, y = mglearn.datasets.make_wave(n_samples=100)
line = np.linspace(-3, 3, 1000, endpoint=False).reshape(-1, 1)

#包含到x**10的多项式
#默认的include_bias=True添加恒等于1的常数特征
poly = PolynomialFeatures(degree=10, include_bias=False)
poly.fit(X)
X_poly = poly.transform(X)

将多项式特征与回归模型一起使用，可以得到经典的多项式回归。

reg = LinearRegression().fit(X_poly, y)

line_poly = poly.transform(line)
plt.plot(line, reg.predict(line_poly), label='polynomial linear regression')
plt.plot(X