cs231n第三节Loss Function and Optimization

最新推荐文章于 2022-07-20 01:30:00 发布

早安啊

最新推荐文章于 2022-07-20 01:30:00 发布

阅读量650

点赞数

CC 4.0 BY-SA版权

分类专栏： cs231n 深度学习文章标签：深度学习 cs231n 损失函数

本文链接：https://blog.youkuaiyun.com/github_35768306/article/details/60779493

本文介绍了cs231n课程中关于损失函数和优化的内容，探讨了图像分类的挑战及解决方案。通过最近邻分类器和KNN分类器举例，阐述了如何使用训练集和权值评估损失，并寻找最小化损失的最优权值。讨论了损失函数的计算方式，包括不同求和方式的影响以及最小最大可能损失。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前发了这门课前两节的ppt，因为懒的原因，看完教学视频就没有及时注解。。
现在开始，每次就一边看视频一边做笔记了。
本节课讲的是损失函数和优化的内容。（推荐deep learning的中文版，回头再加上这部分的学习笔记）
上一讲提到了视觉识别的挑战，尤其是图像分类。现在不仅能对猫进行分类识别，对成千上万的物体也能进行识别，且利用最前沿的算法，我们的识别精度可以达到人类的精确度，在识别某些物体时精度甚至更高。这样的识别算法已经在我们的手机里运行。
这里写图片描述
对于下面这个来自德国的数据集，我们不能对它进行硬编码来分类，而必须先训练数据，得到合适的分类器。我们得到不同的训练集和交叉验证集，来得到超参数和测试集。具体讲了这个最近邻分类器和KNN分类器的例子。
这里写图片描述

这里写图片描述
最后讲解了一个训练样例。我们有一个训练集，三张图片，10个类。评分函数以特定一系列的随机权重对每一个图片的每个类进行评估分数。我们得到了一些分数。有些好有些不好。如左边第一列，正确的类别是猫，但是猫类只得到2.9分，不算好。对于不同的权值可以得到不同的分数，这个用来对图像分类。我们需要对得到的权值进行评估，一旦我们有这个损失函数，就可以对它进行最小化，从而得到最合适的权值组合。
这里写图片描述
假设我们有三个类和三幅图像，以及一些随机初始权值。使用分类算法得到最后分类评估分数。

Li是损失函数。我们把分类算法得到的各类的分数si带入损失函数，得到损失值.
losses分别是2.9,0,10.9。
L=（2.9+0+10.9）/3=4.6
Q1:what if the sum was instead over all classes?(including j = y_i)
Q2:what if we used a mean instead of a sum here?doesnt matter at all, w wont change in this way.
Q3:what is the min/max possible loss?