bubid的博客

自然语言处理-自学笔记-07 RNN的应用RNN的应用一对一RNN一对多RNN多对一RNN多对多RNN用RNN产生文本困惑度：衡量文本生成质量RNN-CF RNN的应用 当前输出取决于当前输入以及先前观察到的输入历史。这意味着存在先前观察到的输入序列和当前输入的产生的输出。在实际中可能存在：一个输入序列只有一个输出、一个输入产生一个输出序列、以及一个输入序列产生一个序列大小不同的输出序列。 一对一RNN 在一对一RNN中。当前输入取决于先前观察到的输入。这种RNN适用于每个输入都有输出的问题，但其输出取决

自然语言处理-自学笔记-06 递归神经网络递归神经网络理解RNN前馈神经网络的问题用递归神经网络进行建模RNN的技术描述 递归神经网络 递归神经网络旨在处理序列数据，如文本或股票价格。RNN维护一个状态变量，用于捕获序列数据中存在的各种模式。RNN随时间共享相同的参数集，随时间共享参数是RNN的重要部分。对于在序列中观察到的每个输入，状态变量将随时间更新。在给定先前观察到的序列值的情况下，这些随时间共享的参数通过与状态向量组合，能够预测序列的下一个值。由于一次只处理一个元素，因此RNN可以处理任意长度的数

自然语言处理-自学笔记-05 用CNN进行句子分类用CNN进行句子分类数据转化卷积操作随时间池化代码实现 用CNN进行句子分类 在自然语言处理领域，一种有效使用CNN的应用是句子分类。 句子分类是指将给定句子划分为某一类别。使用CNN进行句子分类与图片分类有所不同，卷积和池化操作要在一个维度而不是两个维度进行。 数据转化 现在有一个句子库，句子由单词构成，第一步就是对句子进行向量化。先令句子的个数用b表示，最长句子的单词数用n表示，单词总个数用k表示。 例如有如下三句话： Bob and Mary ar

自然语言处理自学笔记-04 用卷积神经网络进行句子分类卷积神经网络CNN基础卷积操作 卷积神经网络 CNN基础 CNN网络由卷积层、池化层和全连接层构成。 卷积层使用卷积核在输入上滑动进行卷积运算，这些权重会共享。可以选择让卷积层与池化层/降采样层互相连接在一起，以降低输入的维度。 卷积操作 对于大小为n∗nn*nn∗n的输入和m∗mm*mm∗m的卷积核，其中m≤nm\le nm≤n。输入用XXX表示，权重用WWW表示，输出用HHH表示。在每个位置i,ji,ji,j，输出计算过程为： hi,j=∑k=1m

自然语言处理自学笔记-03 使用Word2vec进行文档分类使用Word2vec进行文档分类用词向量进行文档分类代码实现 使用Word2vec进行文档分类 Word2vec提供了一种单词数字表示的方法。词嵌入被用作许多任务的单词特征表示，比如图像标题生成和机器翻译。文档分类任务是词嵌入实际应用中的很简单的一个应用。在文档分类中，需要通过词向量技术嵌入整个文档而不是单词。 用词向量进行文档分类 在小数据集上，CBOW算法要好于skip-gram。在这里我们使用CBOW算法来进行文档分类。过程如下： 从所有

自然语言处理自学笔记-02 Word2vec——基于神经网络学习单词表示

自然语言处理-01 基于TensorFlow 单词表示的经典方法WordNet独热编码TF-IDF方法共现矩阵 WordNet WordNet是处理单词表示的最流行的经典方法。它是一个外部词汇数据库，对给定单词的定义、同义词、祖先、派生词等信息进行编码。它可以推断给定单词的各种信息。 WordNet是一个词汇数据库，用于对单词间的磁性标签关系（名词、动词、形容词、副词）进行编码。由美国普林斯顿大学心理学系首创。WordNet考虑单词之间的同义性来评估单词之间的关系。有多国的语言可供选择：http://glo