- 博客(3)
- 收藏
- 关注
RSS订阅原创 Changing the Mind of Transformers for Topically-Controllable Language Generation阅读笔记
摘要：现存的交互式写作助手不能使作家控制text generator生成想要的主题，此文章介绍的framework可以是的用户从一步集合中选择一个constrain来指导文本的生成。那就要求这个架构有两个部分，一个是生成candidate topic的subset，另一个是根据所选topic生成续写文章的text generator介绍：现有的writing assistant基本上无法对文本生成提供深入的control，或者说，所需的人力资源太大。有模型可以提供那种预设好的candidat
2021-11-23 20:33:46
611
原创 PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization论文笔记
阅读动机：dst和gsg有极大的关联性pegasus预训练模型任务：将input的document内重要的句子mask掉，output是由留下的句子生成的新句子，有点类似于extractive summaryextractive summary：仅仅从input里面复制信息 abstractive summary：会生成新的词语（好的abstractive summary不仅包含了基本的input信息 而且语句流畅度好）早前的工作基本都集中在如何做出高质量的数据集，几乎没有对模型的系统评估工作。
2021-11-17 09:50:10
518
原创 Effective Sequence-to-Sequence Dialogue State Tracking论文笔记
粗读了一下，大概是说seq2seq很好，但是怎么在DST上使用它们还没有被系统地研究过，从两个角度来研究怎么更好使用seq2seq来匹配dst任务：一个是从预训练的任务（用T5的大量不同预训练setups）；另一个是从context的形式上（full history和先前预测出的states循环作为history的summary）觉得对我的开题有参考 想精读一下2 methods:2.1 模型encoder 和decoder都是transformersencoder的输入：dialogu
2021-11-17 09:48:37
999
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人