weixin_41570231的博客

Deep & Cross Network（DCN）是一种新型神经网络模型，结合了深度神经网络（DNN）和交叉网络（Cross Network），用于处理大规模点击率（CTR）预测问题。DCN能够自动高效地学习特征交互，适用于稀疏特征和密集特征。与相比，主要是宽组件（Wide Component）被替换为交叉网络（Cross Network），并对输入输出做了相应的调整。因此，本文的介绍重点在于交叉网络。

逻辑损失函数（Logistic Loss Function），也称为对数损失函数（Log Loss）或二元交叉熵损失函数（Binary Cross-Entropy Loss），是凸函数。这是因为其二阶导数总是非负的。让我们通过数学推导来理解为什么逻辑损失函数是凸函数。首先，回顾逻辑损失函数的定义：其中，是实际标签（0 或 1），是预测值（0 到 1 之间的概率）。对于凸性分析，我们需要计算并分析函数的二阶导数。对预测值求导。

Wide & Deep Learning for Recommender Systems这篇文章介绍了一种结合宽线性模型和深度神经网络的方法，以实现推荐系统中的记忆和泛化。这种方法在Google Play商店的应用推荐系统中进行了评估，展示了其显著的性能提升。推荐系统中的记忆和泛化。

GBDT是一种集成学习方法，通过逐步训练多个决策树并结合它们的结果来提高预测性能。每个新树是在前面所有树的基础上，通过拟合其残差来减少误差。高准确性：通过逐步拟合和减少误差，GBDT在许多任务中表现优越。自动特征组合：GBDT能够自动发现并利用特征之间的交互关系。抗噪性：对噪声数据具有一定的鲁棒性。逻辑回归是一种广泛使用的线性分类模型，主要用于二分类任务。它通过学习输入特征与输出类别之间的线性关系，并利用sigmoid函数将线性组合映射到概率空间。简单高效：计算效率高，模型易于训练和解释。

FFM模型在传统FM模型的基础上引入了“字段”（Field）的概念（特征、隐向量维度、字段相关例子见本专栏第三篇文章）。FM模型的参数是基于特征之间的交互进行训练的，而FFM模型则进一步考虑了不同特征字段之间的交互，即同一特征在不同字段中有不同的隐向量表示。这使得FFM模型在处理高维稀疏数据时有更好的表现。

FM与FFM区分并举例计算内积

FM模型通过分解特征矩阵捕捉特征间的二阶交互，适用于推荐系统、分类和回归任务，能有效处理高维稀疏数据。