attention
关注
分享
扫一扫
左手指月
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Fine-tune BERT for Extractive Summarization中文数据集LCSTS复现
目前有关于Fine-tune BERT for Extractive Summarization代码只有英文数据集，未曾包含中文LCSTS的数据集，疫情在家期间尝试将代码转换到中文数据集中。 ** 一、数据转换篇 ** 根据源代码中对数据格式的要求，一个story文件中包含原文和摘要，以@highlight进行区分。 所以我们首先需要将原LCSTS数据集进行转换，原数据集的格式如下：经过转换后的数...原创 2020-03-15 10:30:51 · 2268 阅读 · 10 评论 -
如何将Attention机制加入到NLP应用中
主要参考tensorflow官网案例进行理解，帮助新人进行理解，也方便自己的查询记忆！ 将Attention机制应用到NLP领域中 编码端 正常进行编码，attention机制主要是应用在解码端部分！ 框架使用的是keras框架，虽然与tensorflow框架稍有不同，但是并不妨碍如何运用attention机制的理解！ 解码端 attention计算定义，通过相应计算将编码端的输出、及隐藏状态投...原创 2019-12-08 17:59:57 · 438 阅读 · 0 评论 -
Attention机制、self-attention机制原理及计算
Attention、self-attention机制理解 Attention原理理解 个人理解假定源文档source，其中的每一个词为value，并且给每一个词进行编号key。query暂时理解为需求，用来预测相关的query。 导入 如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入， 继续你的创作。 ...原创 2019-12-08 17:18:37 · 1523 阅读 · 1 评论