chen_yiwei的博客

THUCnews与IMDB数据预处理THUCnews数据下载读取数据与分词IMDB数据下载读取数据与分词参考链接THUCnews数据下载中文数据集：THUCNewsTHUCNews数据子集：https://pan.baidu.com/s/1hugrfRu 密码：qfud读取数据与分词以测试集为例：import pandas as pdimport numpy as nptrain...

文章目录模型的结构EmbeddingsEncoders功能输出层模型训练Masked Language ModelNext Sentence Prediction参考：BERT详解图解BERTBERT的理解模型的结构模型主要由Embedding，多个Transform-Encoders模块，功能输出层组成。EmbeddingsBERT的输入将会编码成三种Embedding的单位和。...

文章目录一.词袋模型二 wordembeddingone-hot共现矩阵Cocurrence matrixDistributed representationword2vec三 word2vec 的训练两种算法CBOWSkip-gram加速训练方法Hierarchical SoftmaxNegative Sampling一.词袋模型来自词袋模型bow和词向量模型word2vec所谓词袋模型B...

文章目录一 Fasttext原理模型架构层次SoftMaxN-gram子词特征二 Pytorch代码实践模型定义：训练函数定义：数据加载：训练：一 Fasttext原理fasttext是facebook开源的一个词向量与文本分类工具，在2016年开源，典型应用场景是“带监督的文本分类问题”。提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。参考FastText算法原理解...

文章目录Attention机制的通用定义Seq2Seq中的Attention什么是Seq2Seqattention在seq2seq中的应用计算attention的第一步计算attention的第二步计算attention的第三步计算attention的第四步几种常见的attention向量计算方式Soft-attentionHard-attentionlocal attention （半软半硬at...

文章目录HAN原理代码实践HAN原理参考多层注意力模型用于文本分类的注意力模型整个网络结构包括五个部分：1）词序列编码器2）基于词级的注意力层3）句子编码器4）基于句子级的注意力层5）分类整个网络结构由双向GRU网络和注意力机制组合而成，具体的网络结构公式如下：1）词序列编码器给定一个句子中的单词witw_{it}wit​，其中 i 表示第 i 个句子，t 表示第 t 个...

文章目录问题的引入从例子说起——词性标注问题定义CRF中的特征函数从特征函数到概率几个特征函数的例子转载CRF条件随机场简单解释详细解释：NLP —— 图模型（二）条件随机场（Conditional random field，CRF）问题的引入假设你有许多小明同学一天内不同时段的照片，从小明提裤子起床到脱裤子睡觉各个时间段都有（小明是照片控！）。现在的任务是对这些照片进行分类。比如有的照片...

TextRNN原理这里的文本可以一个句子，文档(短文本，若干句子)或篇章(长文本)，因此每段文本的长度都不尽相同。在对文本进行分类时，我们一般会指定一个固定的输入序列/文本长度：该长度可以是最长文本/序列的长度，此时其他所有文本/序列都要进行填充以达到该长度；该长度也可以是训练集中所有文本/序列长度的均值，此时对于过长的文本/序列需要进行截断，过短的文本则进行填充。总之，要使得训练集中所有的文本...

朴素贝叶斯原理贝叶斯公式条件独立公式，如果X和Y相互独立，则有： P(X,Y)=P(X)P(Y)\ P(X,Y) =P(X)P(Y) P(X,Y)=P(X)P(Y)条件概率公式： P(Y∣X)=P(X,Y)/P(X)\ P(Y|X) = P(X,Y)/P(X) P(Y∣X)=P(X,Y)/P(X) P(X∣Y)=P(X,Y)/P(Y)\...

SVM的简单理解（参考机器学习之SVM）线性分类线性分类的目的就是将数据分开，如图：怎么确定最佳的分隔线？从直观上来说，分割的间隙越大越好，把两个类别的点分得越开越好。在SVM中，成为Maximum Marginal， 是svm的一个理论基础之一。选择是的空隙最大的函数是有很多道理的。比如从概率的角度讲， 就使的置信度最小的点置信度最大。上图中被红色和蓝色的线圈出来的点就是所谓的支...

目录TF-IDFTF-IDF原理TF-IDF实践互信息互信息计算参考链接TF-IDFTF-IDF原理TF-IDF(Term Frequency-Inverse DocumentFrequency, 词频-逆文件频率)。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频...

LDA主题模型基本原理LSA（Latent semantic analysis，隐性语义分析）、pLSA（Probabilistic latent semantic analysis，概率隐性语义分析）和 LDA（Latent Dirichlet allocation，隐狄利克雷分配）这三种模型都可以归类到话题模型（Topic model，或称为主题模型）中。相对于比较简单的向量空间模型，主题...

目录基本概念分词的多种匹配方法（[这部分是直接复制的](https://blog.youkuaiyun.com/u013061183/article/details/78259727)）正向最大匹配法：逆向最大匹配法：双向最大匹配法：unigram、bigram、trigram的概念词向量矩阵生成过程加载数据集分词生成词汇表生成word_index加载预训练词向量模型生成词向量矩阵参考链接基本概念分词的多...

文章目录TextCNN原理Pytoch代码实现TextCNN文本分类模型定义训练TextCNN原理TextCNN是一种应用于文本分类的卷积神经网络，由Yoon Kim 在Convolutional Neural Networks for Sentence Classification 一文中提出。extCNN的网络结构如图所示，由词嵌入层，卷积层，最大池化层和全连接层组成。词嵌入层：假设...

文章目录整体框架Position EmbeddingScaled Dot-Product AttentionMulti-Head Attention总结模型Position EmbeddingEncoder与DecoderSoftmax动画过程本文参考:一步步解析Attention is All You Need细讲 | Attention Is All You Need对Attentio...

目录神经网络结构1神经网络的输入输出1 激活函数Sigmoid.Tanh.ReLU.3代码实现神经网络结构1神经网络的输入输出来自：神经网络算法推演假如神经网络仅由“神经元”构成，以下即是这个“神经元”的图示：这个“神经元”是一个以 x1,x2,x3\ \textstyle x_1, x_2, x_3 x1​,x2​,x3​截距+1 为输入值的运算单元，其输出为:...