人工智能_2.2深度学习_常见算子

人工智能中的数学原理

已于 2025-01-10 14:53:41 修改

阅读量611

点赞数 5

文章标签：人工智能深度学习

于 2025-01-10 01:57:40 首次发布

本文链接：https://blog.youkuaiyun.com/qq_60544058/article/details/145045687

版权

一、线性算子(torch.nn.Linear)

$f:Y=W\cdot X+B$

其中 $X\in R^{n\times m}$ 为输入， $W\in R^{m\times p}$ 为权重， $B\in R^{1\times p}$ 为偏置， $Y\in R^{n\times p}$ 为输出， $n$ 通常为batch_size, $m$ 为输入特征的维度， $p$ 为输出特征的维度。在几何上，可视f为将一个决策变量从 $m$ 维空间到 $p$ 维空间的连续线性投影。注意： $W$ 和 $B$ 是可学习参数；若 $W$ 为满秩方正，则 $Y$ 与 $X$ 同胚。

二、卷积(torch.nn.Conv2d)

$f:Y=f(X,C,B,k,s)$

其中 $X\in R^{n\times W\times H}$ 为输入， $C\in R^{n\times m\times k\times k}$ 为卷积核， $B\in R^{n\times m}$ 为偏置， $Y\in R^{m\times W'\times H'}$ 为输出， $k$ 为卷积核大小， $s$ 为卷积步长， $n$ ( $m$ )为输入(出)通道数， $W$ 、 $H$ 、 $W'$ 、 $H'$ 为输入宽、输入高、输出宽、输出高。 $Y_{i,j,k}=avg(X_{:,j*s:j*s+k,k*s:k*s+k}\cdot C_{:,i,:,:}+B_{:,i})$ 为 $n*k*k$ 维空间到1维空间的连续线性映射。 $k$ 越大，卷积视野越大，提取的特征越趋近于全局，计算量也越大。 $s$ 越大，不同局部上的特征融合越小，计算量越小。

三、池化

池化源自滤波器，如中值滤波、最大值滤波、最小值滤波。最值池化侧重提取边缘纹理信息，而中值池化侧重提取背景信息。此外，池化可用于下采样操作，如空间金字塔池化模型( SPP)可将不同尺寸的输入图像映射到相同尺寸的特征。

最值池化中，局部中总是非最大的不会前向传播，反向传播时是不经过该神经元。

四、激活函数

4.1 ReLU

$ReLU(x)=\left\{\begin{matrix} x, x\geq 0 \\ 0, x<0 \end{matrix}\right.$ $Leaky \, ReLU(x)=\left\{\begin{matrix} \; x, \; x\geq 0 \\ \alpha x,x<0 \end{matrix}\right.$