深度学习基础要点和Pytorch常用命令汇总

深度学习基础

卷积

计算卷积后的图片size
$size=[\frac{l+2\ast p-k}{s}+1$]
其中：
$l=图片原尺寸$
$p=padding大笑$
$k=卷积核大小$
$s=步长$

卷积参数个数
假设输入为388，输出为655，卷积核大小为333
那么因为输出有6个channel，所以需要6个333的卷积核

对于Pytorch可以用下面代码查看参数：

for name,parameters in net.named_parameters():
	print(name,':',paramaters.size())

卷积层激活函数
激活函数一般是在每次卷积后就使用

池化

计算池化后的图片size
方法同卷积操作

---

优化算法

梯度下降法

batch梯度下降法（batch_size=样本大小）当样本数小于2000
mini_batch梯度下降法（batch_size介于之间）样本数大于2000，一般batch_size设为64～512（2的倍数）
随机梯度下降法（batch_size=1）

$W:=W-\alpha \ast dW$

动量梯度下降 Momentum梯度下降

首先理解加权指数平均

$V_0=0$
$V_1=\beta \ast V_0+(1-\beta )\ast {\theta }_1$
$V_2=\beta \ast V_1+(1-\beta )\ast {\theta }_2$
$...$
$V_n=\beta \ast V_{n-1}+(1-\beta )$