apapple-优快云博客

原创（3）TextCNN和TextRNN

终于到了现代一点的模型了，为了整明白这些折腾了很久。很多大佬都是基于图像领域讲解的，但是对于我这种没整过图像的就很难受了。接下来就谈一谈自己对两个模型的理解TextCNN这是很著名的cs231n给出的模型图，可以看到CNN有四个层组成conv:卷积层就是用一个称之为卷积核的矩阵（滤波器（filter））做内积，就是逐个元素相乘再求和。每一步求出来的是一个值！具体如图具体看算式。这样就把输入抽象化了这个矩阵有几个参数，常用的就是深度，步长和填充值。深度：上图中的conv..

2021-10-26 16:57:21 453

原创（3）word2vec的那些东西

wrod2vec是对NNLM的一种改进，他去掉了激活层，减少了要训练的参数，效率肯定是提高了很多~一共有两个模型，Skip-gram和CBOW。CBOW是输入附近的词求中间词，Skip-gram是给中间的词求附近的词。Skip-gram这个模型其实与NNLM差不多，只是一个简化而已。不过训练目标改变了。Skip-gram的终极目标不是训练一个准确的输出，而是为了获得隐层的权重矩阵，或者说词向量。这种模型一些人取名为“Fake Task”。就是让输出层只是一个调参的工具人而已。在了解具体模

2021-10-25 11:03:27 241

原创（2）NNLM学习记录

NNLM是最早应用于NLP的深度学习模型，可以看到之前总结词袋模型的一些影子。作为开山之作，有必要学习一下。首先上图给出一组词序列w1 ···wT，w t ∈ V w_t∈V。V是一个词向量集合。模型目标是训练如下的模型：。接下来说人话：1、模型输入是one-hot类型，维度根据输入的文本字的数量决定，比如有300个字就有300维。输入的数量是超参数，也就是窗口。如果我窗口大小为2，则模型就希望输入两个字来预测第三个字。那么第三个字总要有个范围吧？所以引进了一个词库D，里面包含了所有

2021-10-23 22:13:45 180

原创（1）从One-hot到Word2vec

因项目需要，重新捡起来NLP进行学习。感觉NLP经过长时间发展在各个领域出现了大量效果好的模型。为了梳理一下思路，特地写博客记录，以便以后复习。词袋模型one-hot中文是独热编码，至于为啥叫这个我也不太懂。不过表现形式还是很简单的。我们有一个字典表示每个词的索引，比如说：dic=[‘我‘:'1','苹果','2','想吃':'3']“我想吃苹果” 这句话中每个词都可以表示成：我：[1,0,0]想吃：[0,0,1]苹果：[0,1,0]这样就把每个词变成了电脑能看懂的东

2021-10-23 20:38:07 746