AI--卷积神经网络（CNN）_cnn中的传递函数-优快云博客

本文链接：https://blog.youkuaiyun.com/zx_zhang01/article/details/103808233

卷积神经网络CNN

1.神经网络

多对一神经网络

多输入单输出的神经网络即浅层圣经网络
在这里插入图片描述
全链接神经网络

2.卷积网络

在这里插入图片描述
如图所示，单通道情况下：对应位置卷积元素（Input Volume）与卷积和(Filter W0)相乘相加再加入一个偏移量(设置为1）得到一个outout Volume的一个元素。
eg: $\left\{\begin{matrix} 1*(-1)+0*0+0*0+1*(-1)+1*1+0*(-1)+1*1+2*(-1)+0*(-1)=-2\\ -2+1=-1 \end{matrix}\right.$
根据卷积的性质，当原始图像的大小为MN，经过33的矩阵卷积后转化成大小为(M-2)*(N-2)。

3.激活函数

在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非线性激活函数才允许这种网络仅使用少量节点来计算非平凡问题。在人工神经网络中，这个功能也被称为传递函数。
在这里插入图片描述
sigmoid激活函数： $\text { sigmoid }(x)=\sigma=\frac{1}{1+e^{-x}}$ 缺点：两头过于平坦，且输出值域不对称。
tanh激活函数： $\tanh x=\frac{\sinh x}{\cosh x}=\frac{e^{x}-e^{x}}{e^{x}+e^{x}}$ 缺点：两头依旧过于平坦，但改进了
ReLU激活函数 $\text {ReLU}(x)=\ln x$ 优点：收敛速度比sigmoid/tanh快；计算高效简单；Dead Area中权重不更新。
在这里插入图片描述

ReLU激活函数

4.正则化手段

正则项与防止过拟合

L2-norm: $J(\vec{\theta})=\frac{1}{2} \sum_{i=1}^{m}\left(h_{\vec{\delta}}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda \sum_{j=1}^{n} \theta_{j}^{2}$ L1-norm: $J(\vec{\theta})=\frac{1}{2} \sum_{i=1}^{m}\left(h_{\vec{\theta}}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda \sum_{j=1}^{n}\left|\theta_{j}\right|$
Elastic Net: $J(\vec{\theta})=\frac{1}{2} \sum_{i=1}^{m}\left(h_{i}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda\left(\rho \cdot \sum_{j=1}^{n}\left|\theta_{j}\right|+(1-\rho) \cdot \sum_{j=1}^{n} \theta_{j}^{2}\right)$
正则化手段：在原损失函数中增加L1/L2norm项 $L=\frac{1}{N} \sum_{i} L_{i}+\lambda \sum_{j} w_{j}^{2}$