Mike@-优快云博客

原创 Embedding技术：DeepWalk&Node2vec

Graph Embedding是一种将图中的节点映射到低维向量空间的技术。通过这种映射，图中的节点可以在向量空间中表示为密集的向量，从而方便进行各种机器学习任务，如分类、聚类和推荐。

2025-03-06 23:45:07 999

原创 Embedding方法:从Word2Vec到ltem2Vec

`Item2vec` 脱胎于自然语言处理领域中的 `word2vec` 技术。word2vec 的核心目标是将文本中的单词转化为低维向量，使得语义相近的单词在向量空间中距离相近。item2vec 则将这一思想拓展到了更广泛的领域，它可以将任何类型的 “item”，如商品、电影、音乐、文章等，映射为低维向量，从而捕捉 item 之间的相似性和关联性。这种向量表示为后续的数据分析、推荐系统、聚类等任务提供了坚实的基础。

2025-02-20 23:02:54 659

原创经典Embedding方法:Word2Vec与Skip-Gram算法）

核心思想“具有相似上下文的词，其语义也相似。例如，句子和中，cat和dog的上下文相似，因此它们的向量表示应接近。Skip-Gram的优势擅长捕捉低频词。生成的高质量词向量可应用于语义分析、推荐系统召回等。数学本质通过最大似然估计，学习词向量以编码上下文相似性。实际应用预训练词向量（如GloVe、BERT的基础）。相似词检索、文本分类、命名实体识别等。参考文献arXiv王喆《深度学习推荐系统》word2vec跳字模型skip-gram详解，使用Pytorch实现。

2025-02-19 19:38:53 624

原创 DIEN：深度兴趣演化网络

为了在效率与性能之间找到平衡，作者使用GRU（门控循环单元）来建模行为之间的依赖关系，GRU的输入是按时间顺序排列的用户行为。通过辅助损失和改进的GRU架构，DIEN能够更好地处理长序列行为数据，并优化用户兴趣的表示，推动广告推荐系统的发展。具体而言，兴趣演化层通过对每个GRU步骤的局部激活，使得与目标项相关的兴趣得以强化，减少来自兴趣漂移的干扰。兴趣演化层的目标是通过建模兴趣的演化过程，提高目标项CTR的预测准确度。在电商系统中，用户行为承载着潜在的兴趣，用户在每次行为后，兴趣都会发生变化。

2025-02-18 00:45:46 1003

原创 DIN：引入注意力机制的深度学习推荐系统，

特征结构类别特征组示例维度编码类型用户画像性别、年龄低维（~10）One-hot用户行为浏览商品ID高维（~10⁹）Multi-hot广告属性商品ID、类目ID高维（~10⁷）One-hot上下文时间、页面位置低维（~10）One-hot用户行为特征（如）是多热编码（Multi-hot）向量，包含丰富的兴趣信息，但传统池化方法无法捕捉其与候选广告的动态相关性。这些特征的维度和稀疏性对模型的设计提出了巨大挑战。DIN 的创新之处在于如何有效地处理这些特征，并动态地捕捉用户兴趣。

2025-02-16 00:26:19 1121

原创 DeepFM：融合因子分解机与深度学习的CTR预测模型

假设训练数据集包含n个实例(χ, y)，其中χ是一个包含多个字段的数据记录，通常涉及用户和商品的配对，y ∈ {0, 1} 是与该配对相关的标签，表示用户的点击行为（y = 1表示用户点击了该商品，y = 0表示没有点击）。为了克服这些限制，研究者们不断探索新的模型架构，以更有效地学习特征间的复杂交互关系。它不仅能够捕捉低阶特征交互（如线性和二阶交互），还能学习高阶特征交互，而无需复杂的特征工程。通常，x是高维且稀疏的。构成，二者共享输入嵌入层，实现低阶与高阶特征交互的联合学习（见图1）。

2025-02-08 00:50:33 1025

原创 FNN —— 基于因子分解机的神经网络

FNN 结合了和神经网络（DNN）底层是 FM：利用 FM预训练得到的各特征隐向量初始化 Embedding 层的参数，而不是随机初始化。多层神经网络第一层（Dense Real Layer，z）: 由 FM 提供的向量z作为输入。隐藏层（Hidden Layers, l1 & l2）: 采用tanh激活函数（经验上比 ReLU 更好）。输出层（CTR 预测）: 使用sigmoid激活函数，将输出映射到 (0,1) 之间，表示点击率的概率。输入层。

2025-02-06 12:27:48 1087

原创 Deep Cross Network （DCN）:深度交叉网络讲解

深度交叉网络（DCN）是一种强大的架构，它结合了显式特征交叉和深度学习的优势。通过高效地建模高阶特征交互并捕捉非线性模式，DCN 在点击率预测等任务中实现了顶尖的性能。其模块化的设计，包括嵌入与堆叠层、交叉网络、深度网络和组合层，使其在大规模应用中既灵活又可扩展。

2025-02-06 00:15:27 1371

原创 Wide & Deep 模型：记忆能力与泛化能力

Wide & Deep 模型是一种结合了线性模型（Wide）和深度神经网络（Deep）的混合架构，以结合记忆（Memorization）与泛化（Generalization）能力，并有效解决了推荐系统中的稀疏高秩特征交互问题。该模型最初由 `Google的Cheng 等人（2016）` 提出，广泛应用于推荐系统、广告点击率预测等领域

2025-02-04 19:37:41 920

原创 PNN（Product-based Neural Network）模型架构简介

PNN 模型的整体架构与其他深度神经网络模型（例如 Deep Crossing 模型）类似，主要包含输入层、Embedding 层、多层全连接神经网络以及最终的输出层。在 Deep Crossing 模型中，特征的 Embedding 向量是简单地拼接后送入全连接层，而 PNN 模型引入了乘积层，用于计算不同特征 Embedding 向量之间的交互项。

2025-02-04 08:00:00 1035

原创 NeuralCF 模型：神经网络协同过滤模型

NeuralCF 模型由新加坡国立大学研究人员于 2017 年提出，其核心思想在于将传统协同过滤方法与深度学习技术相结合，从而更为有效地捕捉用户与物品之间的复杂交互关系。该模型利用神经网络自动学习用户和物品的低维表示，并通过这些表示实现对用户评分的精准预测。NeuralCF 模型融合了矩阵分解与深度学习两种方法的优势，采用基于神经网络的结构来建模用户与物品间的非线性交互。传统矩阵分解方法通过计算用户与物品隐向量的内积来进行评分预测，而 NeuralCF 则利用多层感知机（MLP）对用户与物品隐向量进行联合建

2025-02-03 16:19:17 1033

原创 Deep Crossing：深度交叉网络在推荐系统中的应用

Deep Crossing 通过 Residual Network 深度建模特征交互，避免了手工特征工程的复杂性，并在 CTR 预估等任务中表现优异。相比于传统神经网络，残差结构的加入有效缓解了梯度消失问题，使得深度学习在推荐系统领域取得更大突破。

2025-02-03 13:19:45 2426

原创 AutoRec：基于自编码器的推荐系统入门模型

本文深入解析澳大利亚国立大学于2015年提出的AutoRec模型，该模型通过将自编码器（AutoEncoder）与协同过滤相结合，构建了首个基于单隐层神经网络的推荐系统框架。作为深度学习推荐模型的奠基性工作，AutoRec以其简洁的架构和理论启发性，为后续复杂模型的发展提供了重要参考。

2025-02-02 20:29:31 990

原创 FFM 因子分解机原理与特征域概念解析

因子分解机（FFM）通过引入特征域的概念，相较于 FM 提供了更精细的特征交叉建模能力，在 CTR 预估等任务中取得了显著的效果。这个样本有4个特征，其中User，Moive，Genre是类别型特征，Price是数值型特征，经过One-hot处理后有。在 FFM 中，每个特征 $x_i $ 依据其所属的特征域（Field）来学习不同的嵌入向量。在 FM 中，这些特征被视为独立个体，而在 FFM 中，它们会被分配到不同的特征域。的概念，能够更好地建模特征交叉，提高模型的预测性能。指的是特征的类别或属性集合。

2025-01-31 00:45:24 1204

原创 Softmax 与交叉熵：数学原理与梯度推导

Softmax 函数和交叉熵损失函数的组合在多分类任务中非常高效。Softmax 函数将神经网络的输出转化为概率分布，而交叉熵损失函数则衡量预测分布与真实分布之间的差异。这种组合不仅能够有效衡量模型的预测性能，还能在反向传播过程中提供简洁且稳定的梯度更新。希望本文能够帮助你更好地理解 Softmax 和交叉熵的数学原理及其在深度学习中的应用。

2025-01-30 01:41:58 932

原创大规模分段线性模型（LS-PLM）及其在推荐系统中作用

LS-PLM遵循分而治之的策略，即首先将特征空间划分为几个局部区域，然后在每个区域中拟合一个线性模型，结果是加权线性预测的组合。在本实验中，模型的训练集和验证集上的AUC值持续上升，并在最终达到了较高的值，证明LS-PLM能够有效地进行CTR预测。通过训练，我们观察到模型的训练损失和验证损失逐步减少，证明了模型在训练过程中逐渐收敛，并且能够有效地拟合训练数据。提到：为了提高CTR预测的准确性，越来越多的数据被涉及，使得CTR预测成为一个大规模学习问题，具有大量的样本和高维特征。的二元分类问题，其中。

2025-01-27 20:32:17 1029

原创 GBDT 自动化特征工程与 LR 在推荐系统中的应用

GBDT（Gradient Boosting Decision Trees）的核心原理是基于决策树的集成，通过逐步修正每棵树的预测误差，来优化整体模型的预测性能。每一棵树都是根据前一棵树的残差（预测误差）进行训练的，从而在模型训练过程中逐渐减少误差。具体来说，GBDT通过引入新树来减少当前预测值与真实标签之间的差异，这一过程能够使得模型逐步接近真实的拟合函数。每棵树在进行节点分裂时，实际上是对特征进行选择和组合，从而提升了模型对复杂数据的处理能力。

2025-01-26 15:11:23 2116

原创因子分解机（Factorization Machine, FM）及其在推荐系统中的应用和代码实现

因子分解机（Factorization Machines，简称FM）作为一种高效的预测模型，自2010年由Steffen Rendle提出以来，在处理稀疏数据和特征交互方面表现出色，广泛应用于点击率（CTR）预测和评分预测等任务。通过对用户特征（如年龄、性别、偏好）和物品特征（如类型、价格、评分）之间的交互建模，FM 能够预测用户对物品的评分或点击率。FM 能够高效建模特征交互，同时避免显式构造组合特征带来的维度爆炸问题，因此成为在过去推荐系统的核心方法之一。推荐系统的核心任务是预测用户对物品的兴趣程度。

2025-01-25 20:33:45 588

m0_64449391的博客