lele_ne的博客

CrossEntropyLoss由两部分构成，一部分是Softmax，另一部分是log likelihood。

预训练网络模型的前面几层提取大多数图片的共有特征，如边框等，因此我们不想要重新训练前面几层的权重，所以只需要冻住freeze, 而最后几个新添加的层希望被用来学习新数据集的独有特征，因此我们想要训练新添加的层的权重，需要解冻unfreeze.基于选择学习率的策略2，从上图中我们可以看出最后一个明显下降的点在1e-4附近，但我们选择略小一点的，所以是1e-5，接下来我们继续训练6个epoch。如果你有更多的时间训练更多的epoch，那么我们也可以选择把这么多的时间用于训练更多的参数，即更深的网络架构。

之前在, 我们在MNIST_SAMPLE数据集上使用SGD算法训练了linear_model，今天主要介绍的是衡量指标metric、激活函数activation function。

为什么两次的输出结果不一样呢，因为pytorch自动将第一次计算的梯度保存了，第二次会在第一次的基础上再计算梯度，所以当然就结果不一样了，因此我们需要再下一次梯度前，将模型参数的梯度置为0.先定义损失函数：把预测值变成0-1之间的值，如果预测的目标是数字3，就计算预测值和1之间的距离；我们不需要手动计算梯度，因为深度学习库会自动帮助我们计算，只需要在初始化模型参数的时候，指明require_grad=True，它会自动保存模型参数的梯度。梯度：指的是我们将怎么改变模型参数，它指明了具体的方向。

训练的时候为什么要 shuffle

第P6周 好莱坞明星识别

卷积神经网络 CNN

自动调整学习速率

批次与动量

局部最小值与鞍点

机器学习任务功略

机器学习基本概念简介

365天深度学习训练营-第P5周：运动鞋识别

第P4周

天气识别

天气识别

彩色图片识别

365天深度学习训练营-第P1周：实现mnist手写数字识别

猫狗识别

猫狗识别

咖啡豆识别

第6周好莱坞明星识别

运动鞋品牌识别

猴痘病识别

天气识别

第二周彩色图片分类

tf.keras 搭建网络

Fashion 数据集

实现mnist手写数字识别

机器学习

%load_ext autoreload 介绍

plt.rcParams 的用法