左手指月-优快云博客

原创 Fine-tune BERT for Extractive Summarization中文数据集LCSTS复现

目前有关于Fine-tune BERT for Extractive Summarization代码只有英文数据集，未曾包含中文LCSTS的数据集，疫情在家期间尝试将代码转换到中文数据集中。**一、数据转换篇**根据源代码中对数据格式的要求，一个story文件中包含原文和摘要，以@highlight进行区分。所以我们首先需要将原LCSTS数据集进行转换，原数据集的格式如下：经过转换后的数...

2020-03-15 10:30:51 2228 10

原创 Fine-tune BERT for Extractive Summarization代码复现训练篇

前面我们尝试了数据处理部分的代码复现，一般来说此时代码所需要的基础的环境已经配置完成，并且绝大多数文件也都已经下载完成。不过在复现训练代码的时候依旧出现了一些问题。采坑记录，希望帮到后来人！**一、bert-base-uncased下载**因为我们使用的pytorch版本的bert预训练模型，因此需要下载预训练文件，当我们运行代码的时候就会自动下载。当时通常需要科学上网，一般用国内的网...

2020-03-12 10:48:56 1649 8

原创 Fine-tune BERT for Extractive Summarization代码复现数据处理篇

疫情期间在家学习，期间学习到Fine-tune BERT for Extractive Summarization。将bert模型运用于抽取式文本摘要中，第一部分是数据处理篇。代码复现需要的文件包，原论文都会提供的有，其GitHub链接一、环境要求pytorch=1.4.0,python=3.6另外需要安装StanfordCoreNLP（数据处理部分的重点安装部分，也是难点）我的电脑系统...

2020-03-09 08:39:15 1810 13

原创如何将Attention机制加入到NLP应用中

主要参考tensorflow官网案例进行理解，帮助新人进行理解，也方便自己的查询记忆！将Attention机制应用到NLP领域中编码端正常进行编码，attention机制主要是应用在解码端部分！框架使用的是keras框架，虽然与tensorflow框架稍有不同，但是并不妨碍如何运用attention机制的理解！解码端attention计算定义，通过相应计算将编码端的输出、及隐藏状态投...

2019-12-08 17:59:57 415

原创 Attention机制、self-attention机制原理及计算

Attention、self-attention机制理解Attention原理理解个人理解假定源文档source，其中的每一个词为value，并且给每一个词进行编号key。query暂时理解为需求，用来预测相关的query。导入如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，继续你的创作。...

2019-12-08 17:18:37 1483 1

原创 Windows10配置Anaconda4.2+tensorflow+opencv

最近多次配置anaconda的环境，如果对版本没有什么特殊的要求的话，个人建议Anaconda配置一些老版本的，新版本难免出现一些问题。我配置的环境是Anaconda4.2，文章附上安装包下载地址链接：https://pan.baidu.com/s/1myDArj3skexcEFi4aknXsQ提取码：xp1zAnaconda直接安装，小白不建议更改安装目录，记得勾选环境安装好之后就是配置Te...

2019-01-04 20:40:20 655