Deep learning pytorch基础知识整理总结（一）

卷积神经网络的整体流程

第20课
涉及参数步长，stride; kernel_Size, padding，卷积核个数
对不同区域卷积参数共享

Alexnet, VggNet, ResNet.

网络深了，梯度消失或者梯度爆炸。网络深了，难优化，resnet

感受野

autograd机制

求偏导链式法则
z.backward(retrain_graph=True)如果不清空梯度会累加起来

requires_grad_()与requires_grad的区别,同时pytorch的自动求导(AutoGrad)

使用GPU进行训练，把数据和模型传入到cuda里面

Model.to(device)
Data.to(device)

pytorch中tensor格式

Scalar, vector, matrix, n-dimensional tensor

torch. Hub模块

别人论文训练得到的已有模型以及较优的参数，可以直接调用函数

pandas读取csv文件

用神经网络实现气温预测
My_nn = torch.nn.Sequential( torch.nn.Linear(input_size, output_size),
torch.nn.Sigmoid(),
torch.nn.Linear(hidden_size, output_size)
)
每个mini-batch optimizer.zero_grad()

mnist分类

参考材料
（1）安装requests, conda install
（2） 参考材料

torch.nn.functional和torch.nn.Module(对应有可学习参数的模块)

训练model.train（），正常使用batch nomalization和Dropout

测试Model.eval()，这样就不会使用batch nomalization和Dropout

tensor的拆分、合并及基本运算

Tensor.reshape, view, resize_()
参考材料

arg softmax

Torch.max