宋建国的博客

一，优化器的基本知识1.概念导数：函数在指定坐标轴上的变化率方向导数：指定方向上的变化率梯度：一个向量，方向为方向导数取得最大值的方向2.基本属性defaults：优化器超参数state：参数的缓存，如momentumparam_groups：输入要优化的参数组_step_count：记录更新次数，学习率调整中使用3.基本方法zero_grad()：清空所管理的参数...

一，权值初始化1.方差一致性原则：将每一层的方差都尽量控制在1左右2.torch中提供了10种权值初始化方法：均匀分布正态分布常数分布单位矩阵初始化Xavier均匀分布–》Xavier针对的是饱和激活函数Xavier正态分布凯明均匀分布–》凯明针对的是非饱和激活函数凯明正态分布正交矩阵初始化系数矩阵初始化3. nn.init.calculate_gain:计算激...

一，torch.nn组成和属性nn模块组成nn.Module的属性nn.Module的特点和注意点：一个module可以包含多个子module一个module相当于一个运算，必须实现forward（）函数每个module都有8个字典管理他的属性二，模型的容器，装有子modulenn.Sequential:按顺序包装多个网络层顺序性自带forward（）–》自动通过f...

一，torchvision：计算机视觉工具包torchvision.transforms:常用的图像预处理方法torchvision.datasets:常用数据集的dataset实现torchvision.model：常用的模型预训练二，常用图像预处理方法，图像标准化torchvision.Normalize:mean：各通道的平均值std：各通道的标准差in...

注：此部分的实现会在后续更新人民币识别和猫狗识别的实战中进行演示，请读者跟帖自行学习。一，数据读取流程二，DataLoader：构建可迭代的数据装载器torch.utils.data.Dataloaderdataset:Dataset类，决定数据从哪里读取以及如何读取batchsize：批大小num_works:是否多进程读取数据shuffle:每个epoch是否打乱顺序...

一，线性回归import torchimport matplotlib.pyplot as plttorch.manual_seed(10)lr = 0.1 # 学习率# 创建训练数据x = torch.rand(20, 1) * 10 # x data (tensor), shape=(20, 1)y = 2*x + (5 + torch.randn(20, 1)) # ...

一，计算图与动态图机制的介绍1.计算图：计算图：用于描述运算的有向无环图。非叶子节点的梯度在计算过后默认丢弃，如需保存使用【tensor.retain_grad()】来对梯度进行保存2.动态图：静态图与动态图的区别在于：运算操作与搭建图的操作是否同时进行。二，pytorch的自动求导机制1.自动反向求梯度：torcn.autograd.backward()tenso...

一，张量的拼接操作：torch.cat(tensors{张量序列}， dim{要拼接的维度}) —将张量按维度进行拼接 t = torch.ones((2, 3)) t_0 = torch.cat([t, t], dim=0) t_1 = torch.cat([t, t], dim=1) print("t_0:{} shape:{}\nt_1:{} sha...

一，张量的属性1.Variable变量是pytorch0.4以前定义可训练参数的类型，0.4版本以后自动合并到tensor中去了。老版本Variable包含的属性：data：被包装的Tensorgrad：data的梯度grad_fn：创建tensor的关键，是自动求导的关键requires_grad：指示是否需要保留梯度用于梯度计算is_leaf：指示是否是叶节点0.4...