一抹烟霞的博客

文章目录正则化L-1正则化实现L-2正则化动量学习率衰减当loss不在下降时的学习率衰减固定循环的学习率衰减DropoutBatch Norm正则化L-1正则化实现PyTorch没有L-1正则化，所以用下面的方法自己实现L-2正则化一般用L-2正则化weight_decay 表示λ\lambdaλ动量moment参数设置上式中的β\betaβ,表式上一时刻梯度所占的比例0~1之间学习率衰减当loss不在下降时的学习率衰减固定循环的学习率衰减DropoutDropout

网络结构代码import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsbatch_size=200learning_rate=0.01epochs=10# 下载数据train_loader = torch.utils.data.DataLoader( datas

最小值点有4个import numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import pyplot as pltimport torchdef himmelblau(x): return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2# x = np.arange(-6, 6, 0.1)# y = np.arange(

文章目录声明需要进行自动梯度进行自动梯度声明需要进行自动梯度未申明的变量将无法进行自动梯度申明方法有两种# 在创建完成后，申明自动梯度x = torch.ones(1)x.requires_grad()# 在创建时，就申明自动梯度w = torch.full([1],2,requires_grad=True)进行自动梯度也有两种方法其中loss必须是一个标量每次自动梯度后。图会被销毁，导致下次调用自动梯度失效，可以设置retain_graph= True保持图不被销毁...

文章目录torch.tensor()torch.FloatTensor()torch.empty()torch.zeros()torch.ones()torch.eye()torch.randn()torch.rand()torch.randint()torch.full()torch.normal()torch.arange()torch.linspace()torch.randperm()torch.from_numpy()x.item()isinstance数据类型检验torch.tensor()