tyler的博客

加载到DataLoader中之后，DataLoader会通过类似字典的方式读取CustomDataset中的数据，达到批量处理的效果。使用DataLoader的小例子，这里CustomDataset类的__getitem__方法需要返回tensor。

torch.scatter_

1、EMNLP-2019-**Text Summarization with Pretrained Encoders**

Traceback (most recent call last): File "D:\ProgramData\Anaconda3\envs\py36\lib\site-packages\tensorflow\python\pywrap_tensorflow.py", line 58, in <module> from tensorflow.python.pywrap_tensorflow_internal import * File "D:\ProgramData\Anacon

神经网络语言模型NNLM解决的一大问题：维度灾难：由于向量维度过大，导致模型计算量爆炸。NNLM经典模型图如下所示：其中，C(i)C(i)C(i)表示第i个词的词向量，ggg代表可以使用的神经网络，在NNLM中，假设当前词是与前n-1个词有关系的。图一代表的公式其实是下式：y=b+Wx+Utanh(d+Hx) y=b+Wx+Utanh(d+Hx)y=b+Wx+Utanh(d+Hx)其中x被使用了两次，分别对应图一中上半部分的实线和虚线。...

import torch.nn as nnimport mathimport torchclass GateConcMechanism(nn.Module): def __init__(self, hidden_size=None): super(GateConcMechanism, self).__init__() self.hidden_size = hidden_size self.w1 = nn.Parameter(torch.Tenso

原论文：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing介绍四类prompt-based的模型Tuning-free Prompting（1）冻结LM（语言模型）的参数，不进行微调；（2）使用promtp，但其不涉及参数训练。优点：效率高，没有参数更新过程。因为LM参数保持不变，所以没有灾难性遗忘（LM失去了在微调之前能够做某.