hei653779919的博客

NLP—RNTN文献翻译1 摘要以及介绍1.1 摘要语义空间是非常有用的，但是对于长句子是不能使用一个规则的方式来表示句子的语义信息。对于任务中需要理解组成的部分（例情绪检测），需要更加丰富的监督训练和评估信息(更多的文本特征)以及更加有效的模型结构。为了解决这个问题，作者在这篇文章中提出了情绪树库的结构。一共包含了11855个句子语法分析树中215154个短语的细粒度情感标签。为了阐述他们，这里使用递归张量网络。当在一个新的情绪树库上训练完成的时候，该模型的很多指标都优于之前的模型。它是单个句子正负

NLP——ELMO模型1、模型预训练和模型微调作为近些年来深度学习的两个应用思路，预训练和模型微调为后面的任务提供了良好的基础。所以，我们先来介绍一下预训练和模型微调的概念。1.1 预训练我们从一个例子开始，假设我们接到的是一个文本分类的任务，需要对数据集A中的文本进行文本分类，我们的首先要做的是对于A中的文本进行分词，生成词向量。然后采用某一个深度学习的模型。训练分类的参数。现在，我们将...

NLP——文本分类模型（HAN）（三）1、引入1. NLP——文本分类模型（一）2. NLP——文本分类模型(二)在之前的文章中，我们介绍了基于CNN机制是如何应用于文本分类。近些年来Attention机制的兴起引起了巨大的关注，由于其简单，高效，容易扩展的机制收到了广泛的追捧。同时，对于线性Attention机制的改进也层出不穷，下面我们来介绍一个利用Attention机制进行文本分类的...

NLP——文本分类模型（二）在之前的文章中NLP——文本分类模型（一）中，我们具体简述了TextCNN文本分类模型，下面，我们重点介绍关于CNN应用于文本分类的另外两个常见模型DCNN模型和RCNN模型。1、DCNN(Dynamic CNN)模型1.1 模型引入在上一篇文章中，我们提到过，在TextCNN模型中，我们的具体处理方式是卷积+池化的过程，在卷积的过程中，我们定义了不同的卷积核来...

NLP——文本分类模型（一）1、引入最为自然语言处理中最为基础的任务，文本分类一直受到了很多的关注，本文主要关注在深度学习在文本分类中的应用。通过textCNN，DCNN，RCNN，HAN四种经典的文本分类模型来描述深度学习在文本分类模型中的应用。2、textCNN模型2.1 textCNN的引入目前，大多数的深度学习都是从CNN神经网络模型开始的，我们知道，CNN模型被更多的应用在了图...

Seq2Seq基本原理与聊天机器人实践

知识表示——Word2Vector(二)1、CBOW和Skip-gram的优化提出在之前的文章知识表示——Word2Vector(一)中，我们具体的介绍了Word2Vector中的CBOW模型和Skip-gram模型的基本原理。首先我们来回顾一下两个模型的基本结构：无论是CBOW还是Skip-Gram模型，在其结构的最后一步，都是一个全连接并softmax的操作，我们不妨提出这样的假设，...

知识表示——Bert模型解读

深度学习——Word2Vector1、神经网络语言模型NNLM1.1 NNLM基本介绍首先，既然我们要讲Word2Vector，那么神经网络语言模型就不得不说了，所谓的语言模型，就是通过前n-1个词汇来预测第n个词汇。用数学表示就是：P(wn∣w1,w2,...wn−1)P(w_n|w_1,w_2,...w_{n-1})P(wn​∣w1​,w2​,...wn−1​)其中wiw_iwi​表...

机器学习——基于HMM的中文分词1、代码展示#encoding=utf-8'''B表示词汇的开始M表示词汇的中间E表示词汇的尾部S表示词汇单独成词'''class HMM(object): def __init__(self): self.states = ['B','M','E','S'] self.load_para = False ...

Attention机制原理和应用(二)本文是接Attention机制原理和应用(一)的第二篇，这一次我们主要叙述的是Self-attention机制和Multi-Head Attention机制。一、上节回顾在之前的文章中，我们介绍了Soft-attention机制，Global-Attention机制和Local-Attention机制。了解了attention在本质上是一种注意力的聚焦机...

Attention机制原理总结和应用(一)1、attention机制的概述和常用attention类型注意力机制(attention)是借鉴于人类的视觉选择性的一种机制。这种机制通过对于全局的扫描，将人类的注意力着重分配在重点的区域。在计算机科学中，这种机制通过权重分配的方式进行实现。对于attention机制，常见的类型包括以下几种1. soft-attention机制 3. globa...

正则表达式基础1、正则表达式的概述正则表达式指的就是采用固定的一种模式去匹配我们所需要的文本串的这种模式。在下面的内容中，主要介绍正则表达式中的元字符的概念与使用，转移字符、正则表达式中的重复、贪婪和懒惰等基本概念和应用。2、元字符、转义字符、重复的介绍2.1 元字符的概念元字符：指的就是在正则表达式中的单个符号，每一个符号可以匹配到文本中的不同内容，常见的元字符如下表所示：元...

Word2Vec基本原理和实践1、word2vec概述Word2Vec是一组模型，其中包含了CBOW模型和Skip-gram模型，相比于之前所提出的NNLM，它在很多方面进行了改进。大幅度提升了的速度和精度。在NNLM模型中，最费时的部分是隐藏层到输出层的权重计算。所以Word2vec模型取消了隐藏层的计算过程，改为了采用投影的形式。CBOW模型和Skip-gram模型没有采用语言模型的形式去...

神经网络语言模型(NNLM)和word2vec基本原理和实践1 文本向量化概述对于常规的文本，计算机是无法直接处理的，需要我们将文本数据转换成计算机可以进行处理的形式。在NLP领域，文本的向量化是一项十分重要和基础的工作。所谓的文本向量化，就是将文本表示成一系列能够表示文本语义的向量。在一般的文本中，能够被处理的最小单元都是词语。所以，大部分的文本向量化操作都是基于词语进行的，当然也存在句子向...

RNN神经网络和基于Pytorch的实践 本文主要讲述了RNN循环神经网络的基本原理和利用pytorch进行序列生成的实践，原理的部分主要参考 https://blog.youkuaiyun.com/HappyRocking/article/details/83657993，实践的部分主要参考的 是《深度学习原理和Pytorch实战》。在这里向作者表示感谢。本文主要包含以下三个部分...

统计自然语言处理—N元语法模型简述一、N元语法的引出问题1：在一段文本中，如何计算某个句子出现的概率？问题2：对于某个规模大小为L的词表而言，某个词w~i~的历史可能出现的情况有L^i-1^大小，如何缩小计算规模？问题3：能否举一个例子来计算？一、N元语法的引出问题1：在一段文本中，如何计算某个句子出现的概率？A: 一个句子，是由多个基元所构成，其中基元包括字、词、短语等等。B：对于句子中...