kaggle平台学习复习笔记 | 特征工程

最新推荐文章于 2025-03-25 00:08:13 发布

原创

最新推荐文章于 2025-03-25 00:08:13 发布 · 716 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #python #数据挖掘

特征工程是提升模型精度的关键，包括数值字段的round和分箱，类别字段的一热编码、标签编码、序数编码、二进制编码、频率/计数编码和目标编码，以及日期字段的处理。特征筛选通过方差、相关性和模型重要性评估来决定字段的保留。

数值字段

在这里插入图片描述
例子：

df = pd.DataFrame({
   
   
    'student_id': [1,2,3,4,5,6,7],
    'country': ['China', 'USA', 'UK', 'Japan', 'Korea', 'China', 'USA'],
    'education': ['Master', 'Bachelor', 'Bachelor', 'Master', 'PHD', 'PHD', 'Bachelor'],
    'age': [34.5, 28.9, 19.5, 23.6, 19.8, 29.8, 31.7],
    'target': [1, 0, 1, 0, 1, 0, 1]
})
df.head(10)

在这里插入图片描述

round

# 省略小数点
df['age_round1'] = df['age'].round()
# 按照区间进行分段 （实质是缩放）
df['age_round2'] = (df['age'] / 10).astype(int)
df.head(10)

在这里插入图片描述
可以一定程度上忽略特殊值对模型的影响

Box/Bins

df['age_<20'] = (df['age'] <= 20).astype(int)
df['age_20-25'] = ((df['age'] > 20) & (df['age'] <=25)).astype(int)
df['age_20-25'] = ((df['age'] > 25) & (df['age'] <= 30)).astype(int)
df['age_>30'] = (df['age'] > 30).astype(int)
df.head(10)