深入解析 sklearn 中的多种特征编码方式：功能、适用场景与选择建议

本文链接：https://blog.youkuaiyun.com/xinjichenlibing/article/details/147260553

标题：深入解析 sklearn 中的多种特征编码方式：功能、适用场景与选择建议

摘要：

在机器学习中，特征编码是数据预处理的重要环节，直接影响模型的性能和效果。本文详细介绍了 sklearn 及其生态中（含第三方库）的多种特征编码方式，包括 LabelBinarizer、TargetEncoder、FrequencyEncoder、BinaryEncoder 和 LeaveOneOutEncoder。通过对比这些编码方式的功能、适用场景及核心特点，帮助读者在实际项目中灵活选择合适的编码方法，避免数据泄漏和维度爆炸等问题。

一、特征编码的重要性

在机器学习中，模型通常需要数值型输入，而现实世界的数据往往包含类别型特征（如颜色、城市、用户ID等）。特征编码的目标是将这些类别型特征转换为数值型特征，同时保留其内在信息。选择合适的编码方式可以显著提升模型的性能和泛化能力。

二、sklearn 中的多种特征编码方式

1. LabelBinarizer

功能：将分类标签转换为二元矩阵（类似简化版 OneHot）。
适用场景：目标变量或二分类特征的无序编码，如性别（男/女）→ [0,1] 或 [1,0]。
核心特点：生成与类别数相等的列，但仅支持单列输入。

代码示例：

from sklearn.preprocessing import LabelBinarizer

# 示例数据
data = ["红", "蓝", "绿", "蓝"]

# 初始化编码器
encoder = LabelBinarizer()

# 编码数据
encoded_data = encoder.fit_transform(data)
print(encoded_data)  # 输出 [[1 0 0], [0 1 0], [0 0 1], [0 1 0]]

# 逆编码
decoded_data = encoder.inverse_transform(encoded_data)
print(decoded_data)  # 输出 ['红' '蓝' '绿' '蓝']

特点：直接生成密集数组，适合简单二分类或多分类特征。

2. TargetEncoder（需第三方库 category_encoders）

功能：基于目标变量均值对分类特征编码。
适用场景：高基数特征（类别多）且与目标变量强相关的场景，如用户ID编码。
核心特点：需防止过拟合（如交叉验证或留一法处理）。

代码示例：

from category_encoders import TargetEncoder
import pandas as pd

# 示例数据
df = pd.DataFrame({"城市": ["北京", "上海", "北京", "广州"], "目标": [1, 0, 1, 0]})

# 初始化编码器
encoder = TargetEncoder(cols=["城市"])

# 编码数据
encoded_data = encoder.fit_transform(df["城市"], df["目标"])
print(encoded_data)

注意：需拆分训练集和测试集分别编码以避免数据泄漏。

3. FrequencyEncoder

功能：用类别出现频率替代原始值。
适用场景：高基数特征的无序编码，且频率与目标变量相关时，如用户行为统计。
核心特点：生成单列数值特征，避免维度爆炸。

代码示例：

from category_encoders import FrequencyEncoder
import pandas as pd

# 示例数据
df = pd.DataFrame({"城市": ["北京", "上海", "北京", "广州"]})

# 初始化编码器
encoder = FrequencyEncoder(cols=["城市"])

# 编码数据
encoded_data = encoder.fit_transform(df["城市"])
print(encoded_data)

4. BinaryEncoder

功能：将类别转换为二进制编码。
适用场景：高基数特征且需要降维的场景，如产品ID编码。
核心特点：生成 log2(N) 列，减少维度同时保留部分信息。

代码示例：

from category_encoders import BinaryEncoder
import pandas as pd

# 示例数据
df = pd.DataFrame({"产品ID": [1, 2, 3, 4]})

# 初始化编码器
encoder = BinaryEncoder(cols=["产品ID"])

# 编码数据
encoded_data = encoder.fit_transform(df["产品ID"])
print(encoded_data)

5. LeaveOneOutEncoder（需第三方库 category_encoders）

功能：排除当前样本的目标均值作为编码值。
适用场景：防止 TargetEncoder 在训练集和测试集间的数据泄漏问题。
核心特点：适用于需要严格避免过拟合的场景。

代码示例：

from category_encoders import LeaveOneOutEncoder
import pandas as pd

# 示例数据
df = pd.DataFrame({"城市": ["北京", "上海", "北京", "广州"], "目标": [1, 0, 1, 0]})

# 初始化编码器
encoder = LeaveOneOutEncoder(cols=["城市"])

# 编码数据
encoded_data = encoder.fit_transform(df["城市"], df["目标"])
print(encoded_data)

三、选择建议

高基数特征：优先使用 TargetEncoder 或 FrequencyEncoder，避免维度爆炸。
避免过拟合：采用 LeaveOneOutEncoder 或交叉验证策略。
简单二分类：直接使用 LabelBinarizer 或 OneHotEncoder。
高基数特征降维：使用 BinaryEncoder 或 TargetEncoder。

四、第三方库推荐

category_encoders

功能：提供超过 15 种编码方式（如 CatBoostEncoder、WOEEncoder），接口与 sklearn 兼容。
安装方法：

pip install category-encoders

支持的编码方式：

CatBoostEncoder：基于 CatBoost 的编码方式，适用于高基数特征。
WOEEncoder：权重证据编码，适用于分类特征与目标变量的强相关性场景。
JamesSteinEncoder：适用于小样本类别。

五、总结

特征编码是机器学习中不可或缺的一步，选择合适的编码方式可以显著提升模型的性能。以下是对不同编码方式的总结：

编码方式	适用场景	核心特点
LabelBinarizer	二分类或多分类特征的无序编码	生成二元矩阵，仅支持单列输入
TargetEncoder	高基数特征与目标变量强相关	基于目标变量均值编码，需防止过拟合
FrequencyEncoder	高基数特征的无序编码，频率与目标变量相关	生成单列数值特征，避免维度爆炸
BinaryEncoder	高基数特征且需要降维	生成 log2(N) 列，减少维度同时保留部分信息
LeaveOneOutEncoder	需严格避免过拟合的场景	排除当前样本的目标均值作为编码值