DongxueB的博客

BiLSTM的理解以及介绍

模型压缩，剪枝算法

Prompt Learning已被广泛应用于句子级自然语言处理任务中，但其在命名实体识别这类字符级的标记任务上取得的进展却相当有限。TemplateNER通过n-grams方法枚举所有的潜在实体构建prompt进行命名实体识别任务，使得Prompt Learning得以应用于命名实体识别任务，但该构建方法容易产生大量的冗余数据，影响模型的效率。针对上述问题，本文放弃了常规的prompt构建方法，采用预训练任务中的掩码预测任务的形式，将命名实体识别任务转化成将实体位置的词预测为选定的标签词的任务。...

DAGA数据增强论文解读

文本增强总结

Flat-Lattice-Transformer模型源码测试1. 下载embedding2. 下载数据集2.1. ~~OntoNotes~~2.2. MSRA2.2.1. 数据预处理2.3. Weibo2.3.1. 数据预处理2.4. ResumeNER3. 配置环境4. 配置`paths.py`文件5. 配置日志文件5.1. 使用V0中的`flat_main.py`5.2. 使用V1中的`flat_main.py`6. embedding文件预处理7. 训练模型7.1. G

在本笔记本中，我们将实现论文Convolutional Sequence to Sequence Learning模型。这个模型与之前笔记中使用的先前模型有很大的不同。根本没有使用任何循环的组件。相反，它使用通常用于图像处理的卷积层。简而言之，卷积层使用了过滤器。这些过滤器有一个宽度(在图像中也有一个高度，但通常不是文本)。如果一个过滤器的宽度为3，那么它可以看到3个连续的标记。每个卷积层都有许多这样的过滤器(本教程中是1024个)。每个过滤器将从开始到结束滑过序列，一次查看所有3个连续的标记。...

seq2seq序列模型

文本生成概述

1、print(model)import torchclass MyNet(torch.nn.Module): def __init__(self): # 必须调用父类的构造函数，因为想要使用父类的方法，这也是继承Module的目的 super(MyNet, self).__init__() self.conv1 = torch.nn.Conv2d(3, 32, 3, 1, 1) self.relu1 = torch.nn.

class Beam(object): def __init__(self, size,sos,eos): self.size = size self.tt = torch.cuda self.scores = self.tt.FloatTensor(size).zero_() # 大小为[beam_size]，记录当前每个beam的分数总和 self.prevKs = [] # .

论文解读https://blog.youkuaiyun.com/wu13599hao/article/details/87864788?spm=1001.2014.3001.5501#Global_Encoding_for_Abstractive_Summarization_2论文总结 1.Introduction 2.Global Encoding 2.1 Attention-based seq2seq 2.2 Convolutional Gated Unit （本文亮点） 3.模型最终结果

关于论文的解读[paper] A Deep Reinforced Model for Abstractive Summarization - LAUSpectrum - 博客园

很感谢李宏毅老师的教程视频，讲得实在是简单通透，视频地址如下：【深度学习】李宏毅Machine Learning (2017,秋，台湾大学) 国语_哔哩哔哩_bilibili依据李宏毅老师的讲解，我整理了一番VAE的笔记。先简单介绍一下VAE，VAE作为一个生成模型，其基本思路是很容易理解的：把一堆真实样本通过编码器网络变换成一个理想的数据分布，然后这个数据分布再传递给一个解码器网络，得到一堆生成样本，生成样本与真实样本足够接近的话，就训练出了一个自编码器模型。那VAE(变分自编码器)就是在自编码器模.

一、动机篇1.1 什么是文本摘要？文本(自动)摘要是利用计算机自动地将文本(或文档集合)转换成简短摘要的一种信息压缩技术。一般而言，生成的简短摘要必须满足信息量充分、能够覆盖原文的主要内容、冗余度低和可读性高等要求。1.2 文本摘要技术有哪些类型？从不同的角度文本自动摘要技术可以被划分为不同的类型。按照摘要的功能划分：指示型摘要(indicative)——仅提供输入文档(或文档集)的关键主题，旨在帮助用户决定是否需要阅读原文，如标题生成。报道型摘要(informative)—

主要内容：1)文本摘要简介（是什么？）2)文本摘要现状（怎么样？）3)文本摘要分类（有哪些？）4)文本摘要主要技术5)附页一、 文本摘要简介（是什么？）文本摘要是指通过各种技术，对文本或者是文本的集合，抽取、总结或是精炼其中的要点信息，用以概括和展示原始文本的主要内容或大意。随着互联网产生的文本数据越来越多，文本信息过载问题日益严重，对各类文本进行一个“降维”处理显得非常必要，文本摘要便是其中一个重要的手段。作为文本生成任务的主要方向之一，从本质上而言，这是一种信息压缩技术。文本摘要的目的就

摘要在生成式摘要任务中，对于传统的seq2seq+attention的模型架构，作者提出它们有以下缺点:难以准确复述原文细节 无法处理原文中的未登录词(OOV) 在生成的摘要中存在一些重复的部分此文提出了一种新颖的架构来增强标准的seq2seq+attention模型，采用了两种正交(互相之间不存在交集)的新颖手段:使用指针生成器网络(pointer-generator network)，通过指针从原文中拷贝词，这种方式的高明之处在于正确复述原文信息的同时，也能使用生成器生成一些新的词

文本摘要是一种从一个或多个信息源中抽取关键信息的方法，它帮助用户节省了大量时间，用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档，对其内容进行抽取总结生成摘要；多文档摘要方法是指从包含多份文档的文档集合中生成一份能够概括这些文档中心内容的摘要按照输出类型可分为抽取式摘要和生成式摘要。抽取式摘要从源文档中抽取关键句和关键词组成摘要，摘要全部来源于原文。生成式摘要根据原文，允许生成新的词语、短语来组成摘要。（更详

命名实体识别的主要模型原理理解

任务描述: 自动摘要是指给出一段文本，我们从中提取出要点，然后再形成一个短的概括性的文本。自动的文本摘要是非常具有挑战性的，因为当我们作为人类总结一篇文章时，我们通常会完整地阅读它以发展我们的理解，然后写一个摘要突出其要点。由于计算机缺乏人类知识和语言能力，它使自动文本摘要成为一项非常困难和艰巨的任务。自动摘要通常分为抽取式摘要和生成式摘要，区别在于抽取摘要选择原文中若干句子作为只要，而生成式摘要利用文本生成技术根据原文生成摘要，这个摘要会出现原文中没有出现过的句子和词。生成式方法则应用先进的自然语言处.

Transformer结构论文：Attention is all you needTransformer模型是2017年Google公司在论文《Attention is All You Need》中提出的。自提出伊始，该模型便在NLP和CV界大杀四方，多次达到SOTA效果。2018年，Google公司再次发布论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，在Transformer的基础上，提出了