【论文阅读笔记】Using the Output Embedding to Improve Language Model

最新推荐文章于 2025-05-10 20:35:12 发布
最新推荐文章于 2025-05-10 20:35:12 发布
阅读量2k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cskywit/article/details/94905959

 

       设Word2Vec等词向量训练模型的输入词向量为U，输出词向量为V，通常模型训练完成后，只是用U作为预训练词向量给其他上游模型使用，V通常忽略，本文探讨了U和V使用的效果，已经联合使用U和V的想过，得出以下结论：

1、在Word2Vec Skipgram模型中，输出词向量与输入词向量的效果相比稍差。

2、在基于RNN的语言模型中，输入词向量比输入词向量想过更好。

3、通过将这两种嵌入结合在一起，即强制U = V，联合嵌入的效果更类似于输出嵌入，而不是未绑定模型的输入嵌入。

4、将输入和输出嵌入绑在一起，可以改进各种语言模型的困惑度。

5、当不使用dropout时，建议在V之前添加一个额外的投影P，并对P应用正则化。

6、神经翻译模型中的权值绑定可以在不影响性能的前提下将它们的大小(参数数量)减少到原来大小的一半以下。

[论文阅读]Using the Output Embedding to Improve Language Models
ZY_miao的博客
10-31 1388
论文总结（Transformer中Embedding部分提到的权重共享）1)摘要2)文章贡献3)实验设计3)实验结果 论文名：Using the Output Embedding to Improve Language Models 论文作者：Ofir Press and Lior Wolf 期刊/会议名：EACL 2017 本文作者：XMU_MIAO 1)摘要   我们研究了神经网络语言模型（NNLM）中顶层权重矩阵（输入嵌入矩阵和输出嵌入矩阵[pre-softmax映射矩阵]），我们证明了这个矩阵构成了
Transformer 的 Output Embedding
最新发布
天涯雨的博客
07-08 824
Transformer 的 Output Embedding
NLP论文：Weight tying 笔记
sinat_39448069的博客
12-07 2789
NLP论文：Weight tying 笔记论文模型结构文章部分翻译Abstract1 Introduction3 Weight Tying相关视频相关的笔记相关代码pytorchtensorflowkeraspytorch API:tensorflow API 论文 NLP论文笔记合集（持续更新） 原论文：《Using the Output Embedding to Improve Language Models》 模型结构 文章部分翻译 Abstract 我们研究了神经网络语言模型的最上层的矩阵。我们证明
Using the Output Embedding to Improve Language Models 阅读记录
xiaoxu1025的专栏
12-24 498
论文主要提出了一个weight tying概念 作者在introduction中提出 模型输入有个input embedding U 输出有个output embedding V 两个举证维度same size 而且两者都可以作为word embedding 然后作者compare the quality of the input embedding to that of the output embedding 然后提出了下面几个方式可以用来improve neural network lang...
ELMo：Embedding from Language Model（2018-2-15）
weixin_49346755的博客
05-04 539
字符编码层主要对字符进行编码，经过多个卷积层和池化层，再经过多个高速链路层和投影层，作为词的Embedding送入后续的层中。inputs先假设为[batch_size, seq_len, w_dim]，其中batch_size代表句子个数维度，也可以当成batch维度，seq_len表示最大句子长度，w_dim表示最大词长度，默认为50。
Transformer课程第40章：解除了input and output embeddings耦合对Transformer模型RemBERT架构及完整源码实现
StarSpaceNLP667的博客
11-27 1788
1，为何Transformer原始实现会采用sharing weights between input and output embeddings？ 2，sharing weights between input and output embeddings带来的问题分析 3，decoupled embeddings对multilingual models的任务的价值 4，删除output embedding背后的原理分析 5，sentence-piece tokenizer原理分析 6，Rem..
【AI大模型应用学习笔记】RAG-Embedding-Vector知识点学习
etrospect的博客
05-10 697
关于RAG-Embedding-Vector知识点，以及RAG实现的基本流程实操记录
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
Transformer论文阅读笔记
Andre_Jan的博客
03-23 761
Transformer_Attention Is All You Need 代码： https://github.com/tensorflow/tensor2tensor 摘要 主要的序列转导模型基于复杂的循环或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器 Transformer，它完全基于注意力机制，完全摒弃了递归和卷积 结论 Transformer是第一个完全基于注意力的序列转导模型，用多头自注意力取代了编码器-解码器架构中最常用的循环层 机器翻译，在 WMT
【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
gjh1716718326的博客
10-19 6614
摘要 Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform predicti
论文Chinese Relation Extraction with Multi-Grained Information and External Linguistic Knowledge阅读笔记
CycloneKid的博客
02-23 2350
本文为ACL19收录文章 摘要 目前中文关系提取的模式，是使用具有基于字符或基于单词的输入的神经网络进行的，并且大多数现有方法通常会遭受分段错误和多义性的歧义。 我们提出了一种用于中文关系提取的多粒度格框架（MG格），以利用多粒度语言信息和外部语言知识的优势。 （1）我们将词级信息合并到字符序列输入中，从而避免了分段错误。 （2）我们还借助外部语言知识对多义词的多种意义进行建模，以减轻多义的歧义...
机器翻译模型简介（三）
u013453936的专栏
08-26 1284
本系列将记录一些最近的机器翻译模型，作为笔记，以备日后查看。 3、Attention Is All You Need       本文提出一个新的网络结构transfomer，不采用卷积与循环神经网络，仅仅依赖于注意力机制。对于循环神经网络由于其序列输入特性，导致难以并行。而卷积网络可以捕获任意位置的信息，导致随着距离的增大，也越难学习长距离的依赖关系。本文提出一种自注意机制的端到端网络。结构...
深度学习中Keras中的Embedding层的理解与使用
sinat_22510827的博客
06-01 1万+
单词嵌入提供了单词的密集表示及其相对含义，它们是对简单包模型表示中使用的稀疏表示的改进，可以从文本数据中学习字嵌入，并在项目之间重复使用。它们也可以作为拟合文本数据的神经网络的一部分来学习。 Word Embedding 单词嵌入是使用密集的矢量表示来表示单词和文档的一类方法。 词嵌入是对传统的词袋模型编码方案的改进，传统方法使用大而稀疏的矢量来表示每个单词或者在矢量内对每个单词进行评分以表...
Transformer:继MLP、RNN、CNN之后的第四大基础模型
weixin_58420301的博客
05-31 3011
本篇博客讲述的是近几年来在深度学习领域中又一项重大的突破：Transformer。Transformer被誉为是继MLP、RNN、CNN之后的第四大基础模型。接下来我们将以模型架构为核心，跟着输入数据的脚步，一步步解析Transformer是如何构建和学习。.......
Transformer五部曲
小岁月太着急
05-13 9659
Transformer：没错，你只需要注意力机制 首先先说说自己对 Transformer 理解，我认为它最大的改进有如下几点： 提出用注意力机制来直接学习源语言内部关系和目标语言内部关系，而不是像之前用 RNN 来学； 对存在多种不同关系的假设，而提出多头 (Multi-head) 注意力机制，有点类似于 CNN 中多通道的概念； 对词语的位置，用了不同频率的 sin 和 cos 函...
深度学习在 NLP 上的实践
neujs的博客
07-28 2697
自然语言处理的一些新技术的应用
如何用深度学习做自然语言处理？这里有份最佳实践清单
周红伟讲AI
07-27 5004
如何用深度学习做自然语言处理？这里有份最佳实践清单 By 机器之心2017年7月26日 14:16 对于如何使用深度学习进行自然语言处理，本文作者 Sebastian Ruder 给出了一份详细的最佳实践清单，不仅包括与大多数 NLP 任务相关的最佳实践，还有最常见任务的最佳实践，尤其是分类、序列标注、自然语言生成和神经机器翻译。作者对最佳实践的选择很严格，只有被证明在至少两个
NLP最新资源：论文、代码、博客、视频一应俱全
AI科技大本营
06-08 981
整理 | Rachel出品 | AI 科技大本营（ID：rgznai100）【导读】在近几年，NLP 领域得到了快速的发展，包括 ELMo ，BERT在内的新方法不断涌现...
design a model using pytorch embedding
03-28
Sure, here's an example of how you can design a PyTorch model using embeddings: ``` import torch import torch.nn as nn class EmbeddingModel(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_size, num_classes): super(EmbeddingModel, self).__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.rnn = nn.LSTM(embedding_dim, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, num_classes) def forward(self, inputs): # inputs shape: (batch_size, seq_len) embedded = self.embedding(inputs) # embedded shape: (batch_size, seq_len, embedding_dim) output, _ = self.rnn(embedded) # output shape: (batch_size, seq_len, hidden_size) logits = self.fc(output[:, -1, :]) # logits shape: (batch_size, num_classes) return logits ``` In this example, we're creating a model that takes in sequences of integers (representing words in a sentence) and outputs a classification. The `EmbeddingModel` class inherits from `nn.Module` and defines three layers: 1. An `Embedding` layer that creates a learned embedding for each word in the vocabulary. The `vocab_size` parameter specifies the number of unique words in the vocabulary, and `embedding_dim` specifies the size of the learned embeddings. 2. An `LSTM` layer that takes the embedded input sequences and outputs a sequence of hidden states. The `hidden_size` parameter specifies the number of hidden units in the LSTM. 3. A fully connected `Linear` layer that takes the final hidden state of the LSTM and produces the output logits. `num_classes` specifies the number of classes we're trying to classify. In the `forward` method, we first pass the input sequences through the embedding layer to get the learned embeddings. Then we pass the embedded sequences through the LSTM layer to get a sequence of hidden states. Finally, we take the last hidden state (corresponding to the end of the sequence) and pass it through the fully connected layer to get the final logits. Note that we're using the `batch_first=True` parameter in the LSTM layer so that the input and output shapes are `(batch_size, seq_len, embedding_dim)` and `(batch_size, seq_len, hidden_size)` instead of `(seq_len, batch_size, embedding_dim)` and `(seq_len, batch_size, hidden_size)`. This is just a matter of personal preference, but it can make the code easier to read and write.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值