cs231n第三节Loss Function and Optimization

本文介绍了cs231n课程中关于损失函数和优化的内容,探讨了图像分类的挑战及解决方案。通过最近邻分类器和KNN分类器举例,阐述了如何使用训练集和权值评估损失,并寻找最小化损失的最优权值。讨论了损失函数的计算方式,包括不同求和方式的影响以及最小最大可能损失。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

之前发了这门课前两节的ppt,因为懒的原因,看完教学视频就没有及时注解。。
现在开始,每次就一边看视频一边做笔记了。
本节课讲的是损失函数和优化的内容。(推荐deep learning的中文版,回头再加上这部分的学习笔记)
上一讲提到了视觉识别的挑战,尤其是图像分类。现在不仅能对猫进行分类识别,对成千上万的物体也能进行识别,且利用最前沿的算法,我们的识别精度可以达到人类的精确度,在识别某些物体时精度甚至更高。这样的识别算法已经在我们的手机里运行。
这里写图片描述
对于下面这个来自德国的数据集,我们不能对它进行硬编码来分类,而必须先训练数据,得到合适的分类器。我们得到不同的训练集和交叉验证集,来得到超参数和测试集。具体讲了这个最近邻分类器和KNN分类器的例子。
这里写图片描述

这里写图片描述
最后讲解了一个训练样例。我们有一个训练集,三张图片,10个类。评分函数以特定一系列的随机权重对每一个图片的每个类进行评估分数。我们得到了一些分数。有些好有些不好。如左边第一列,正确的类别是猫,但是猫类只得到2.9分,不算好。对于不同的权值可以得到 不同的分数,这个用来对图像分类。我们需要对得到的权值进行评估,一旦我们有这个损失函数,就可以对它进行最小化,从而得到最合适的权值组合。
这里写图片描述
假设我们有三个类和三幅图像,以及一些随机初始权值。使用分类算法得到最后分类评估分数。
这里写图片描述
Li是损失函数。我们把分类算法得到的各类的分数si带入损失函数,得到损失值.
losses分别是2.9,0,10.9。
L=(2.9+0+10.9)/3=4.6
Q1:what if the sum was instead over all classes?(including j = y_i)
Q2:what if we used a mean instead of a sum here?doesnt matter at all, w wont change in this way.
Q3:what is the min/max possible loss?

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值