涂卡-优快云博客

原创 Bert用在seq2seq任务上——UNILM实战

文章目录1.UNILM简介2.实战2.0 租服务器2.0.1 基础配置2.0.2 网络和安全组2.0.3 系统配置2.0.4 服务器的状态2.0.5 查看账单2.1 环境配置2.1.0 登录服务器2.1.1 安装torch2.1.2 配置 UNILM 要求的包2.2 训练2.3 验证3.结语 1.UNILM简介按照我粗浅的理解：传统的seq2seq模型需要用一个encoder把输入的语料处理成向量,一个decoder把向量转换为词表里的词，生成目标语句。 Bert是一个预训练好的语言模型，有三层

2020-08-24 23:23:22 3912

原创 [EMNLP21-findings] Named Entity Recognition for Entity Linking: What Works and What’s Next 阅读笔记

Named Entity Recognition for Entity Linking: What Works and What’s Next [pdf] 论文状态：被EMNLP21-findings接收作者：Simone Tedeschi, Simone Conia, Francesco Cecconi and Roberto Navigli TL;DR: 本文尝试了各种利用命名实体类别信息辅助实体链接的方法，发现NER能够很好的在少样本训练的情况下辅助实体链接模型． 1. Motivation 作

2022-04-04 11:09:27 575

原创 [EMNLP21-findings] BERT might be Overkill: Biomedical Entity Linker based on ResCNN 阅读笔记

BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks [pdf] 论文状态：被EMNLP21-findings接收作者：Tuan Lai, Heng Ji, ChengXiang Zhai TL;DR: 本文用ResCNN取代传统的BERT做Entity Linking，可以取得相近的效果并大量减少参数和计算时间． 1.

2022-04-03 23:49:20 1527

原创 [ACL22] HIBRIDS:Hierarchical Biases for Structure-aware Long Document Summarization 阅读笔记

HIBRIDS: Attention with Hierarchical Biases for Structure-aware Long Document Summarization [pdf] 论文状态：被ACL22接收作者：University of Michigan的 Shuyang Cao 和 Lu Wang TL;DR: 本文用相对关系矩阵为transformer引入文档结构信息，进而提升长文档摘要的效果，并介绍了一个新的任务：结构化＂问题-摘要对＂生成． 1. Motivation 文档的

2022-03-28 16:46:54 1493

原创 [ACL22] An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models阅读笔记

An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models [pdf] 论文状态：被ACL22接收作者：University of Maryland的 Sweta Agrawal 和 Marine Carpuat TL;DR: 本文介绍了两种互补的策略来解决NAR模型适应编辑任务时训练不足和泛化问题：roll-in policy和Curriculum Learning 1. Motivation 设计

2022-03-22 17:58:20 1516

原创 [ACL22-Findings] Entity Profile Generation for Wikipedia Entity Linking (Lai et al, 2022)阅读笔记

Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking [pdf] 论文状态：被ACL22-Findings接收作者：UIUC的 Tuan Lai, Heng Ji, ChengXiang Zhai TL;DR:作者在候选实体检索任务上发明了Entity Profile Generation方法，用BART给mention生成一段含有标题和描述的profile作为query，用wik

2022-03-21 15:12:34 1904

原创 [ACL22] SummaReranker (Ravaut et al, 2022) 阅读笔记

ACL22的 SummaReranker论文阅读笔记

2022-03-20 19:47:35 912

原创 XML学习笔记

XML 语法 XML对大小写敏感 XML 文档必须有一个元素是所有其他元素的父元素。该元素称为根元素。 XML 的属性值须加引号 <note date="08/08/2008"> <to>George</to> <from>John</from> </note> 在 XML 中，有 5 个预定义的实体引用，来代替一些特殊的字符：实体引用显示的符号意义 < < 小于

2021-10-24 16:44:14 160

原创 Albert+ TextCNN 文本二分类任务实践

文章目录任务数据流程模型baseline自己写的输入输出AlbertClassifierModel训练细节参数实验在test集输出规则serch_f1线上任务参加了一个贝壳找房公司在DataFountain上举办的比赛任务：本次赛题的任务是：给定app中的交流片段，片段包含一个客户问题以及随后的经纪人若干对话消息，从这些随后的经纪人消息中找出一个是对客户问题的。这是一个二分类的问题，就是对许多的 (问题，答案)句子组合进行预测，如果问题和回答匹配了，就标注为1。数据训练集: 6000段对话

2020-10-24 08:51:56 3946 6

原创菜鸟教程html学习笔记

html学习笔记一、简介注意事项：对于中文网页需要使用<meta charset=“utf-8”>声明编码，否则会出现乱码。有些浏览器(如 360 浏览器和google浏览器)会设置 GBK 为默认编码，则你需要设置为<meta charset=“gbk”>。疑惑：难道html的使用性这么差吗，不同的浏览器就得写不同的charset ??? 二、语法注释在HTML源代码中想要添加注释，需要使用<!–…--> 注释标签。结构 &lt

2020-09-02 22:22:27 400

原创 Hierarchical Transformers for Multi-Document Summarization笔记

学习文本之间的潜在联系一、导论提到了wikisum，尽管wikisum向抽象多文档摘要迈出了重要的第一步，但是：它仍然认为多个输入文档是连接的平面序列，不知道文档之间的层次结构和可能存在的关系。选择搜索结果前10个，每个结果可能有重叠，用不同的方式表达同样的内容作者强调文档间的图关系(PageRank？) 作者貌似要替换掉文档间的注意力机制计算 replacing inter-document attention with a graph-matrix computed b

2020-07-09 22:46:24 1170

原创 WikiWrite: Generating Wikipedia Articles Automatically笔记

1.document embeddings → 获得单词和段落的矢量表示 → 向量算相似度 →判别不同的文章(分类器) 2.两步的整数线性规划(ILP)模型 → summarize & rewrite 一、导论假设1：类别信息是已知的，文章通常属于多个类别，而这些类别往往不是同等重要的。文章从多个类别总结 → 问题：文章不够精练，某些情况下，分类不能提供太多信息侵犯版权，意味着实体上的内容不能直接复制到维基百科连贯性问题我们使用段落向量模型(Le and Mikolov,

2020-07-08 23:34:54 362

原创 Generating Summaries with Topic Templates and Structured Convolutional Decoders笔记

用的是卷积解码器，和已知的经典RNN的seq2seq是不同的，有更好的内容覆盖率一、定义导言文档被组织成主题连贯的文本片段，在讨论的内容方面表现出特定的结构某些主题可能以特定的顺序进行讨论 (比如描述物种的顺序一般是：类型、发现的地区、栖息地) 任务和18年WikiSum一样二、模型我们的模型由一个结构化的译码器组成，它被训练来预测一系列应该在摘要中讨论的句子主题，并基于这些主题生成句子。 encoder: CNN decoder: document-level decoder first

2020-07-06 21:36:04 335

原创 Automatically generating wikipedia articles: A structure-aware approach笔记

这是少见的没有用神经网络的论文，感觉像是一股清流一、任务定义在本文中，我们考虑的任务是自动创建一个多段的概述文章，提供一个主题的综合总结。我们使用特定领域的自动生成的内容模板为文章选择相关的材料。 (例如，关于疾病的文章的模板可能包含诊断、原因、症状和治疗。我们的系统通过分析人类创作文档的结构模式，归纳出这些模板。) 我们将这个任务定义为一个结构化的分类问题。我们估计我们的模型的参数使用感知器算法与整数线性规划(ILP)公式，运行在给定领域的一个示例文章的训练集。我们的重点是生成新的概述文章，遵循维

2020-07-05 12:05:47 520

原创 Generating wikipedia by summarizing long sequences笔记

Generating wikipedia by summarizing long sequences we introduce a decoder-only architecture that can scalably attend to very long sequences 一、任务定义我们将英文维基百科视为一个多文档摘要的监督机器学习任务 input :维基百科主题(文章标题)、非维基百科参考文档集合组成 output：维基百科文章文本二、相关工作 input output 作者的最大，说明作

2020-07-04 17:20:38 1034

Tuka2000的博客