Johnny Liao的博客

下面直接给出代码, 中间带有我个人的注释: # -*- coding: utf-8 -*- # 4种优化器的对比 import torch import torch.utils.data as Data import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt ##优化器的对比 LR = 0.01 BATCH_SIZE = 32 EPOCH = 12 x

1，梯度下降 含义：把求损失函数最小值的过程中，需要一个递归求最优解的过程，在这个过程中，我们把输入（比如图片），label（真正的数值或者其他），w（权重），b（偏差）等由函数； 数学含义： 求解一个可导函数，使得损失函数在最低点得到解的过程。 中间函数：（其中Q1为移动的距离点1） 如果一个学习速率太大，那么很可能会错过最佳值； 如果过小，就会导致下降太慢，耗费大量时间； 1.1 复习积...

预测偏差，是指预测的平均值和观察平均值的差； 请注意， 预测偏差与偏差是不同的概率；偏差是指（wx + b）中的b； 逻辑回归预测应当无偏差； 找出预测偏差的原因可能有以下几点： 特征集不完整； 训练样本有偏差； 数据集混乱； 正则化过强； 模型实现流水线中有偏差； ...