论文阅读——推荐系统之通过双向自编码器的表示学习模型

最新推荐文章于 2024-09-20 21:44:29 发布
最新推荐文章于 2024-09-20 21:44:29 发布
阅读量3.5k 收藏 8
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 论文 文章标签： 推荐系统 自编码器 矩阵分解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/manduner/article/details/80471031

1，论文相关信息

Paper：Representation learning via Dual-Autoencoder for recommendation

Journal：Neural Networks

Year：2017

2，研究动机

深度学习在图片和文本领域的隐特征表示方面已经取得了很大的成功，之前一般通过直接的矩阵分解来获得用户和商品的隐特征表示，以及过多的关注如社交关系和位置等辅助信息，可能没有充分利用用户商品评分矩阵信息，本文为了充分利用用户商品评分矩阵信息以及学习较好的隐特征表示，提出了一种新的表示学习框架ReDa。

3，研究方法

  • 通过自编码器同时学习用户和商品的隐特征表示，利用学习到的隐特征表示来最小化训练数据的误差。
  • 学习商品隐特征表示：把商品作为输入序列，把用户作为商品的特征，通过编码与解码操作得到商品的隐特征表示。
  • 学习用户隐特征表示：把用户作为输入序列，把商品作为用户的特征，通过编码与解码操作得到用户的隐特征表示。

最终目标函数：


模型图例：


4，数据集

公开：MovieLens 100和 MovieLens 1M

非公开：Douban Book 和 Douban Movie

5，评价指标





Cross-Encoder（交叉编码器）和 Bi-Encoder（双编码器）
Cachel Wood的博客
05-30 230
摘要： Cross-Encoder（交叉编码器）和Bi-Encoder（双编码器）是NLP中处理文本匹配的两种模型。Bi-Encoder通过独立编码双文本生成向量后计算相似度，适合大规模检索（高效但精度较低）；Cross-Encoder联合编码双文本，利用交叉注意力捕获细粒度交互，精度高但计算成本大，适用于精细匹配。实际应用中常结合两者：先用Bi-Encoder快速筛选候选，再用Cross-Encoder重排序以平衡效率与精度。
ChatGPT 大模型深度学习系统科学的视角——“大模型”深度学习是结构与组合的艺术
AI天才研究院
06-28 1126
近年来,随着计算机硬件性能的飞速发展和海量数据的积累,深度学习技术取得了突破性进展。尤其是以 ChatGPT 为代表的大规模语言模型,展现出了惊人的自然语言理解和生成能力,引发了学术界和工业界的广泛关注。这些大模型的成功离不开深度学习系统科学的支撑。大模型的核心算法可以概括为:基于 Transformer 的自监督预训练 + 针对下游任务的微调。其原理可以用下图表示:fill:#333;color:#333;color:#333;fill:none;大规模无标注语料自监督预训练预训练语言模型。
自编码推荐算法的实现
09-06
使用python实现的基于自编码模型的协同过滤推荐算法，运行环境为python2.7+tensorflow，python3.5也可以运行。
介绍自编码器的文章
Alexwu555的博客
12-12 496
https://blog.youkuaiyun.com/marsjhao/article/details/73480859
『TensorFlow』单&双隐藏层自编码器设计
weixin_34097242的博客
06-13 167
计算图设计 很简单的实践， 多了个隐藏层 没有上节的高斯噪声 网络写法由上节的面向对象改为了函数式编程， 其他没有特别需要注意的，实现如下： import numpy as np import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.examples.tutorials.mnis...
来自Transformers的双向编码器表示（BERT）
liuyingshudian的博客
02-23 1307
BERT
WWW‘22 推荐系统论文之序列推荐篇
公众号/知乎: AI算法札记，欢迎关注交流
06-24 2795
​WWW 2022已公布录用论文，接收323篇/投稿1822篇，录用率为17.7%，完整录用论文列表见 Accepted Papers – TheWebConf 2022 [1] [2]已对推荐系统和计算广告相关论文进行梳理，本文选择序列推荐方向个人感兴趣的论文进行进一步解读，对于已有人解读的论文，本文会给出相应链接。...
基于深度学习的文本情感原因提取研究综述——论文阅读
weixin_62472350的博客
09-20 1716
关于情感原因对抽取的研究综述
现代化双向编码器 ModernBERT 提升自然语言处理任务性能与效率的技术突破
01-25
内容概要：论文介绍了一款现代化的编码器-only模型—ModernBERT，该模型针对快速、内存高效和长文本微调以及推理进行了优化。ModernBERT经过对2万亿词元训练，并扩展了原有BERT等模型的优势，提升了下游分类与检索的...
AIGC实战——Transformer模型
盼小辉丶的博客
03-25 7582
GPT 模型是一个解码器 Transformer，它逐字符地生成文本字符串，并使用因果掩码只关注输入字符串中的前一个单词。另一些编码器 Transformer，不使用因果掩码，而是关注整个输入字符串以提取有意义的上下文表示。对于一些其他任务，如语言翻译，可以使用编码器-解码器 Transformer，将一个文本字符串翻译为另一个文本字符串，这类模型包含编码器 Transformer 块和解码器 Transformer 块。
深度解析：从概念到变革——Transformer大模型的前世今生以及大模型预备知识讲解[知存科技]
丨汀、的博客
05-27 2840
深度解析：从概念到变革——Transformer大模型的前世今生以及大模型预备知识讲解[知存科技]
使用双自动编码器网络的深度光谱聚类
03-08
最近，聚类方法在学习和视觉方面吸引了越来越多的关注。 深度聚类将嵌入和聚类结合在一起，以获得用于聚类的最佳嵌入子空间，与传统的聚类方法相比，它可以更有效。 在本文中，我们提出了一种用于判别性嵌入和频谱聚类的联合学习框架。 我们首先设计一个双重自动编码器网络，该网络对潜在表示及其嘈杂的版本实施重构约束，以将输入嵌入到潜在空间中进行聚类。 这样，学习到的潜在表示可以对噪声更鲁棒。 然后，利用相互信息估计从输入中提供更多的判别信息。 此外，采用深谱聚类方法将潜在表示嵌入到特征空间中，然后对其进行聚类，从而可以充分利用输入之间的关系以获得最佳聚类结果。 在基准数据集上的实验结果表明，我们的方法可以大大优于最新的聚类方法。
BERT：探索来自变压器的双向编码器表示形式（BERT）
02-11
伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10
【论文阅读｜深读】ANRL: Attributed Network Representation Learning via Deep Neural Networks
海到无边天作岸 山登绝顶我为峰
07-05 1780
原文链接：https://dl.acm.org/doi/abs/10.5555/3304889.3305099会议：Twenty-Seventh International Joint Conference on Artificial Intelligence {IJCAI-18}（CCF A类）年度：2018网络表示学习（RL）旨在将网络中的节点变换到低维的向量空间中，同时保持网络的固有性质。虽然网络RL已经得到了广泛的研究，但已有的工作大多集中在网络结构或节点属性信息上。在本文中，我们提出了一种新的框架
自动编码器AutoEncoder学习总结
mpk_no1的博客
07-23 1万+
自编码器AutoEncoder学习总结，整理AutoEncoder的原理，AutoEncoder在分类任务上的使用，稀疏AE，以及对AE改进得到文档或句子向量表达的一篇paper（KATE: K-Competitive Autoencoder for Text）（KDD2017）
读书笔记：多Transformer的双向编码器表示法(Bert)-4
baby_hua的专栏
10-10 1441
Bidirectional Encoder Representations from Transformers，即Bert；
深度自编码器在推荐中的应用
Mlooker的博客
05-16 7616
出品：贪心科技（公众号：贪心科技）作者：Artem Oppermann前言协同过滤是推荐系统通过收集来自许多其他用户的品味或偏好来预测某个特定用户的兴趣所使用的一种方法。协同过滤技术的基本假设是，如果用户A与B在某件事上有相同的品味或意见，那么A就更有可能在不同的问题上得出与B相同的意见。通过本文你将学到：如何预测某个用户对一部电影的评价，这个预测将会基于这个用户的偏好以及其他用户对该部电影以及其...
编码器—解码器（seq2seq）+ Attention
热门推荐
Shingle_的博客
09-08 1万+
输入和输出都可以是不定长序列，例如机器翻译、图像描述 在训练数据集中，我们可以在每个句子后附上特殊符号“”（end of sequence）表示序列的终止。 编码器 编码器的作用是把一个不定长的输入序列变换成一个定长的背景变量 c，并在该背景变量中编码输入序列信息。常用的编码器是循环神经网络。 循环神经网络隐藏层的变换: ht=f(xt,ht−1).ht=f(xt,ht−1). {h...
沐神《动手学深度学习》 来自Transformers的双向编码器表示（BERT）
m0_63642362的博客
06-17 791
沐神《动手学深度学习》飞桨版课程公开啦！hello各位飞桨的开发者，大家好！李沐老师的《动手学深度学习》飞桨版课程已经公开啦。本课程由PPSIG和飞桨工程师共同建设，将原书中MXNet框架改为飞桨实现，原理+代码实践，感兴趣的同学快速加入课程《动手学深度学习》。来自Transformers的双向编码器表示（BERT） 我们已经介绍了几种用于自然语言理解的词嵌入模型。在预训练之后，输出可以被认为是一个矩阵，其中每一行都是一个表示预定义词表中词的向量。事实上，这些词嵌入模型都是与上下文无关的。让我们先来说明这个
双向transformer模型示意图
最新发布
03-14
### 双向 Transformer 模型架构概述 双向Transformer模型，特别是像BERT这样的预训练语言模型，在处理自然语言任务方面表现出显著优势。不同于单向Transformer仅能从前向后或者从后向前单一方向捕捉序列信息，双向Transformer能够同时利用前后的上下文信息来构建更丰富的表示[^1]。 #### BERT结构特点 - **输入层设计**：为了实现双向编码，输入被精心构造为三个部分的组合——词嵌入(Token Embeddings)、位置嵌入(Position Embeddings)以及分段嵌入(Segment Embeddings)，这使得模型可以理解句子内部单词的位置关系及其所属的不同语句片段。 - **多头自注意力机制**：该特性允许网络在同一时间关注到不同长度范围内的依赖关系，并且对于每一个token来说都是并行计算其与其他所有tokens之间的关联权重，从而实现了真正意义上的“双向”。 - **隐藏层堆叠**：通常由多个相同的子层组成，每一层都包含了残差连接(Residual Connections)和Layer Normalization操作以促进深层神经网络的有效训练。 ```python import torch.nn as nn class BidirectionalTransformer(nn.Module): def __init__(self, vocab_size, hidden_dim, num_layers, n_heads): super(BidirectionalTransformer, self).__init__() self.embedding = nn.Embedding(vocab_size, hidden_dim) encoder_layer = nn.TransformerEncoderLayer(hidden_dim, n_heads) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers) def forward(self, src): embedded_src = self.embedding(src) output = self.transformer_encoder(embedded_src) return output ``` 上述代码展示了如何定义一个简单的双向Transformer模块，其中`nn.TransformerEncoder`用于创建一个多层的Transformer编码器栈，而`nn.Embedding`则负责将输入转化为密集向量形式以便后续处理。 #### 关于可视化资源 虽然具体的图形展示未在此处提供，但读者可以通过查阅官方文档或学术论文获取更多详细的图表说明。例如，在原始BERT论文中就提供了清晰易懂的架构图解，有助于直观了解整个系统的运作原理。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值