LGBM（LightGBM）和DeepFM

原创于 2025-10-13 16:05:55 发布 · 406 阅读

CC 4.0 BY-SA版权

文章标签：

67 篇文章

订阅专栏

LGBM（LightGBM）和DeepFM是机器学习，尤其是推荐系统、点击率预测等场景中两个非常重要且特点鲜明的模型。它们分别代表了梯度提升树模型和深度神经网络模型在处理结构化数据时的不同思路。

下面这个表格可以让你快速把握它们的核心区别与联系。

对比维度	LGBM (LightGBM)	DeepFM
核心类型	梯度提升决策树	深度神经网络 + 因子分解机
核心思想	通过多个弱学习器（决策树）依次拟合残差，不断提升模型精度。	联合学习低阶（线性/二阶）和高阶（非线性）特征组合，实现端到端的自动特征交叉。
优势	训练速度快、内存消耗低、处理大规模数据能力强、对类别特征支持好、模型精度高。	自动进行复杂特征交叉，无需大量人工特征工程；特别适合处理高维稀疏数据（如用户ID、商品ID）。
劣势	更擅长处理结构化数据，对于图像、文本等非结构化数据的原始特征学习能力较弱。	模型相对复杂，训练资源消耗通常大于树模型；可解释性不如树模型直观。
典型应用	表格数据预测、金融风控、搜索排序、作为强基线模型或特征工程工具。	点击率预估、推荐系统、广告排序等需要深度挖掘特征交叉关系的场景。

为了帮助你更好地理解，我们来深入了解一下它们各自的工作原理。

LGBM是GBDT算法的一种高效实现，其核心优势源于以下几项关键技术优化：

基于直方图的算法：将连续特征值离散化到多个桶中，用直方图存储统计信息。这大大减少了寻找最优分裂点的计算量和内存占用，相比XGBoost等预排序算法有显著效率提升。
单边梯度采样：在计算信息增益时，保留梯度较大的样本，并随机采样一部分梯度较小的样本。这样可以在几乎不损失精度的情况下，减少数据量，加速训练。
互斥特征捆绑：将多个互斥的特征（即很少同时为非零值的特征）捆绑成一个新特征，有效降低特征维度。
Leaf-wise树叶生长策略：不同于Level-wise的层序遍历，Leaf-wise每次选择当前增益最大的叶子节点进行分裂，在相同叶子数目的情况下能获得更好的精度，但可能产生更深的树。

这些优化使得LGBM特别适合处理维度不高但样本量巨大的表格数据，并且通常能快速得到一个非常强劲的基准模型。

DeepFM模型巧妙地将因子分解机与深度神经网络结合，由一个共享的输入层和两个并行的组件构成：

FM部分：负责学习特征的低阶组合关系（一阶和二阶交叉）。它通过特征的隐向量内积来建模二阶特征交互，即使交叉特征在训练数据中很稀疏，也能有效学习。
Deep部分：是一个多层感知机，负责学习特征的高阶非线性组合关系。它能够自动挖掘深层次的、复杂的特征交互模式。
共享嵌入层：FM和Deep两部分共享同一个特征嵌入层，将高维稀疏的输入特征转化为低维稠密的向量。这种设计避免了繁琐的人工特征工程，实现了端到端的训练。

这种结构让DeepFM能够同时捕捉不同阶的特征交互，在推荐系统这种特征交叉极为关键的场景中表现尤为出色。

了解了它们各自的原理后，你可能会问：在实际项目中该如何选择？

优先选择LGBM的场景：
- 当你需要快速建立一个高性能的基线模型时。
- 当你的数据是典型的表格数据，且特征维度相对不高时。
- 当计算资源有限，但对训练速度有较高要求时。
- 当你需要较强的模型可解释性来分析特征重要性时。
优先选择DeepFM的场景：
- 当你的业务核心是点击率预估、推荐或广告排序，并且特征中海量存在高维稀疏的类别特征（如用户ID、物品ID）时。
- 当你希望省去复杂的人工特征交叉工作，让模型自动学习特征关系时。
- 当你有足够的计算资源，并且追求极致的模型性能时。
强强联合：在实践中，LGBM和DeepFM并非互斥，反而可以组合使用。一个常见的模式是：
1. 使用LGBM模型进行初步训练和特征重要性分析。
2. 根据LGBM的结果筛选出重要特征，或者利用LGBM的预测结果作为新特征。
3. 将这些特征输入到DeepFM模型中，进行更精细化的特征交叉建模和最终预测。这种思路在像“知乎看山杯”这样的高级别算法竞赛中得到了成功应用。

LGBM：由于其高效和强大性能，在金融风控（信用评分）、销售预测、客户流失预警、医学诊断等各类结构化数据的建模任务中成为首选工具之一。
DeepFM：几乎是大规模推荐系统的标配模型之一，广泛应用于电商（如淘宝的商品推荐）、内容平台（如今日头条的信息流推荐）和在线广告（如谷歌广告竞价排序）等场景。