weixin_44151089的博客

【简单总结】FastText的复习回顾1.FastText简单介绍FastText方法包含三部分：模型架构、层次 Softmax 和 N-gram 特征。模型架构:fastText 模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量，特征向量通过线性变换映射到中间层，中间层再映射到标签。fastText 在预测标签时使用了非线性激...

【简单总结】TextCNN原文链接：Convolutional Neural Networks for Sentence Classification1.简单介绍TextCNNTextCNN模型是由 Yoon Kim提出的使用卷积神经网络来处理NLP问题的模型.相比较nlp中传统的rnn/lstm等模型,cnn能更加高效的提取重要特征,这些特征在分类中占据着重要位置.论文所提出的模型结...

【简单总结】句子相似度计算的几种方法1.句子相似度介绍：句子相似度–指的是两个句子之间相似的程度。在NLP中有很大的用处，譬如对话系统，文本分类、信息检索、语义分析等，它可以为我们提供检索信息更快的方式，并且得到的信息更加准确。2.句子相似计算的方法概括：句子相似度计算主要分为：基于统计的方法： 莱文斯坦距离（编辑距离） BM25 TF...

【简单总结】jieba分词回顾与总结一、安装方法自动安装 pip install jieba 半自动安装：下载 http://pypi.python.org/pypi/jieba，解压后运行 python setup.py install 手动安装：将jieba目录放置于当前目录或sit-packages目录下二、jieba分词简单介绍一、支持三种分词模式与特点：精准模式：试...

【简单理解】XLNet1. 简单介绍XLNetXLNet是一个通过排列语言模型实现双向上下文信息的自回归模型。它通过随机排列输入序列而预测某个位置可能出现的词，进而训练出具有上下文的语境化词向量。XLNet是一个类似BERT的模型，但是它采用了通用的自回归预训练方法(AR模型)，而基于DAE的Bert模型采用的则是降噪自动编码方法(AE模型)，bert和AR模型的区别主要是在以下三方...

【简单理解】BERT原文链接：BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding1.简单介绍BERT一个训练好的【双向Transformer编码器栈】。可以训练出具有上下文关系的【语境化词向量】，是一个【句子级的语言模型】。作为一种pre-train方法，可以直接获得一整个句...

1.简单介绍TransformerTransformer是一种使用Attention机制类提升模型训练的速度的模型，该模型的最大优势在于其并行性良好，是一个非时序深度的encoder block加decoder block模型，可以用来代替seq2seq进行长距离的依赖建模。Transformer详解推荐这篇文章：https://jalammar.github.io/illustrated...

【简单理解】简单理解Attention注意力机制本质1.简单介绍Attention注意力机制：Attention注意力机制其实可以用一句话说穿：它是Seq2Seq中的decoder模块对encoder模块的加权平均。说的太简洁了不利于理解本质，接下来让我们来细细理解到底什么是Attention注意力机制吧。2.Encoder-Decoder(Seq2Seq)框架要了解深度学习中...

【简单理解】自然语言处理-平滑方法(Smoothing)简单介绍平滑策略平滑策略的引入，主要使为了解决语言模型计算过程中出现的零概率问题。零概率问题又会对语言模型中N-gram模型的Perplexity评估带来困难。零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，那么该量概率为0，进而会导致整个实例的概率结果是0。举例：在文本分类的问题中，在计...

简单理解语言模型语言模型简单介绍语言模型：为单词序列分配概率的模型。即对于单词序列w1, w2, w3,..., wn,计算P(w1, w2, w3,..., wn)的模型就是语言模型。语言模型作用：对于一句话中的词序列，它判断这一句是否在语法上讲得通。或者预测单词序列的下一个词是什么。语言模型的计算公式：n-gram model（n元模型）n元模型的思想就是：出现...

【简单理解】搜索引擎检索-倒排表（倒排索引）简单介绍倒排索引 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。常见应用：搜索引擎、问答系统、对话系统。图说倒排索引 这里首先引出一个例子来详细介绍倒...

简单理解TF-IDF引出TF-IDF通俗来讲TF-IDF就是考虑单词的重要性。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF简单介绍TF-IDF（term frequency–inverse document frequency）是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。TF意思是...

简单理解关于分类模型的评估分类模型的评估的前提对模型进行评估时，可以选择很多种指标，但不同的指标可能得到不同的结果，如何选择合适的指标，需要取决于任务需求。混淆矩阵在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)精确率(Precision)与召回率(Recall)...

简单理解k近邻算法什么是k近邻算法k-近邻算法采用测量不同特征值之间的距离来进行分类。优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂度高、空间复杂度高使用数据范围：数值型和标称型用例子来理解k-近邻算法电影可以按照题材分类，每个题材又是如何定义的呢？那么假如两种类型的电影，动作片和爱情片。动作片有哪些公共的特征？那么爱情片又存在哪些明显的差别呢？我们发现动作...

什么是朴素贝叶斯朴素贝叶斯（Naive Bayes）是一个非常简单，但是实用性很强的分类模型。朴素贝叶斯分类器的构造基础是贝叶斯理论。概率论基础概率定义为一件事情发生的可能性。事情发生的概率可以 通过观测数据中的事件发生次数来计算，事件发生的概率等于该事件发生次数除以所有事件发生的总次数。举一些例子：扔出一个硬币，结果头像朝上 某天是晴天 某个单词在未知文档中出现我们将事件的...

什么是中文分词中文分词指将一个汉字序列切分成一个个单独的词。中文分词的难题分词规则（粒度）问题：不同应用对粒度的要求不一样，比如“百度搜索”可以是一个词也可以是两个词 消除歧义问题：比如“小吃店关门了” 未登录词识别问题：比如“hold”住分词方法分类中文分词主要分为：基于规则分词、基于概率统计分词。基于规则分词原理：按照一定策略将待分析的汉字串与词典中的词条进行匹配...

LSTM(Long Short Term Memory，长短期记忆网络)介绍介绍：LSTM，也就是长短期记忆网络，是一种 RNN 特殊的类型，可以学习长期依赖信息。要想较好理解LSTM请先查看之前写的RNN的简单理解文章。在传统RNN训练经常会出现无法解决长期依赖、梯度消失和梯度爆炸的问题，学习能力有限，在实际任务中的效果往往达不到预期效果。此时引入LSTM，LSTM是RNN的一种变体，是为...

简单理解RNN循环神经网络RNN(Recurrent Neural Network）介绍图说RNN宏观结构图说RNN微观结构RNN(Recurrent Neural Network）介绍介绍： RNN，也就是循环神经网络，是用来建模序列化数据的一种主流的深度学习模型。传统的前馈神经网络处理的输入往往都是一个定长向量，较难应对变长的序列信息，就算把序列处理成定长的向量，模型也很难捕捉序列中的长距...