qq_43624215的博客

权值初始化1、梯度消失与梯度爆炸2、全连接网络权值初始化3. 具有激活函数时的权值初始化4. Xavier初始化5. Kaiming初始化6. Pytorch提供的初始化方法总结1、梯度消失与梯度爆炸梯度消失与梯度爆炸的产生是权值与激活函数相互作用的共同结果。针对一个神经网络：H2=H1∗W2H_{2} = H_{1}*W_{2}H2​=H1​∗W2​∂Loss∂W2=∂Loss∂out∗∂out∂H2∗∂H2∂W2=∂Loss∂out∗∂out∂H2∗H1\frac{\partial Los

池化层&线性层1.池化层-Pooling Layer1.1 nn.MaxPool2d1.2 nn.AvgPool2d1.3 nn.MaxUnpool2d2.线性层-Linear Layer1.池化层-Pooling Layer池化可实现冗余信息的剔除以及减小后续计算量。下采样：将大尺寸图像变换为小尺寸的图像上采样：将小尺寸图像变换为大尺寸的图像MaxPool2d和AvgPool2d属于下采样准备：将图片转为Tensor：img_transform = transforms.Co.

文章目录1.nn.Cov2d2.转置卷积1.nn.Cov2d实现：nn.Cov2d(in_channels,out_channels,kernel_size,stride = 1,padding = 0,dilation = 1,groups = 1,bias = True,padding_mode = ‘zero’)功能：对多个二维信号进行二维卷积主要参数：• in_channels：输入通道数• out_channels：输出通道数，等价于卷积核个数• kernel

ContainersContainers包含三种容器，nn.Sequential 、nn.ModuleList、nn.ModuleDict。三者都是 nn.module的容器。文章目录Containers1、通过nn.Sequential构建LeNet2、通过nn.ModuleList构建网络3、通过nn.ModuleDict构建网络4、AlexNet网络• nn.Sequential： 顺序性，各网络层之间严格按顺序执行，常用于block（子模块）构建• nn.ModuleList： 迭代性

transforms操作transforms.RandomChoice功能：从一系列transforms方法中随机挑选一个transforms.RandomChoice([transforms.RandomVerticalFlip(p=1), transforms.RandomHorizontalFlip(p=1)])transforms.RandomApply功能：依据概率执行一组transforms操作transforms.RandomApply([transforms.Rando

Dataloader示例：Dataloder(dataset,batch_size = 1,num_works = 0,shuffle = False,drop_last = False)功能：构建可迭代的数据装载器• dataset: Dataset类，决定数据从哪读取及如何读取• batchsize : 批大小• num_works: 是否多进程读取数据• shuffle: 每个epoch是否乱序• drop_last：当样本数不能被batchsize整除时，是否舍弃最后一批数

深度之眼pytorch课程学习记录