终于到了现代一点的模型了,为了整明白这些折腾了很久。很多大佬都是基于图像领域讲解的,但是对于我这种没整过图像的就很难受了。接下来就谈一谈自己对两个模型的理解
TextCNN
这是很著名的cs231n给出的模型图,可以看到CNN有四个层组成
conv:卷积层
就是用一个称之为卷积核的矩阵(滤波器(filter))做内积,就是逐个元素相乘再求和。每一步求出来的是一个值!具体如图
具体看算式。这样就把输入抽象化了
这个矩阵有几个参数,常用的就是深度,步长和填充值。
深度:上图中的conv层是深度=1的特殊情况,深度=2就两个二维矩阵,就两个滤波器,就两个filter。
步长:一次卷积滑动几步
填充值:为了总长能被步长整除,所以可能要加几圈0.
这里depth(深度)=2,stride(步长)=2,padding(填充值)=1
这里有几个特殊的创新点
局部感知:每次滤波器只对一个局部进行卷积,就像人一次只能看到固定长度的文字
权重共享:滤波器的权重不变