Myrna_Q-优快云博客

原创 13 dropout

李沐大神动手学深度学习课程笔记简单学习笔记，详情请阅读 https://zh-v2.d2l.ai/ 动机一个好的模型需要对输入数据对扰动鲁棒。使用有噪音对数据等价于Tikhonov 正则 drop out：在层之间加入噪音。通常作用在隐藏全连接层的输出上。（只在训练中使用）无偏差的加入噪音加入噪音但是期望不变。 x为上一层的输出。 import torch from torch import nn from d2l import torch as d2l def dropout_laye

2021-04-19 03:11:13 222

原创 12 权重衰减

模型容量主要因素 1、参数个数 2、参数值的选择范围防止过拟合 1、限制参数值的范围来控制模型容量 2、使用均方范数作为柔性限制。权重参数更新法则演示lambda对最优解对影响数据噪声越大，w 往往越大。合适的lambda把 w 拉到中心。 %matplotlib inline import torch from torch import nn from d2l import torch as d2l n_train, n_test, num_inputs, batch_size = 2

2021-04-19 03:03:51 300

原创 10 多层感知机

李沐大神动手学深度学习课程笔记简单学习笔记，详情请阅读 https://zh-v2.d2l.ai/ import torch from torch import nn from d2l import torch as d2l batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size) num_inputs, num_outputs, num_hiddens = 784, 10, 256 W1 =

2021-04-19 02:56:27 341 1

原创 09 图片分类

李沐大神动手学深度学习课程笔记简单学习笔记，详情请阅读 https://zh-v2.d2l.ai/ %matplotlib inline import torch import torchvision from torch.utils import data from torchvision import transforms from d2l import torch as d2l d2l.use_svg_display() trans = transforms.ToTensor() mni

2021-04-19 02:52:14 350

原创 08 线性回归

李沐大神动手学深度学习课程笔记简单学习笔记，详情请阅读 https://zh-v2.d2l.ai/ QA 1、batchsize 越小越容易收敛。因为batchsize小可能会带来比较大的噪声，但是对于复杂的神经网络是件好事情，更鲁棒。 %matplotlib inline import torch import random from d2l import torch as d2l # 构造数据集，带有噪声的线性模型 def synthetic_data(w, b, num_examples

2021-04-19 02:47:33 221

原创 07 自动求导

李沐大神动手学深度学习课程笔记简单学习笔记，详情请阅读 https://zh-v2.d2l.ai/ import torch pytorch 隐式构造图 x = torch.arange(4.0, requires_grad = True) #注意4.0，不能为4，需为tensor。 x tensor([0., 1., 2., 3.], requires_grad=True) y = 2* torch.dot(x, x)#x向量，y标量，同时记录y是从x计算过来( grad_fn=<Mul

2021-04-19 02:37:11 224 2

u013547526的博客