cs231n第三节Loss Function and Optimization

cs231n学习笔记-lecture3(Loss Functions and Optimization) 前言 最近开始学习cs231n的课程,想从基础上再梳理一下视觉相关的知识点,课程中有些概念的解释还是非常巧妙的,将自己有些领悟的地方记录下来,方面以后回顾。 Loss Functions SVM Loss 对于一个线性模型,计算出来的值就是某张图片对于每个类别的分数。 如上图的计算一样,假设我们现在有了一组W,如何判断这个W的表现如何呢? 因此引入了loss函数,用这个loss函数... 阅读详情

之前发了这门课前两节的ppt,因为懒的原因,看完教学视频就没有及时注解。。
现在开始,每次就一边看视频一边做笔记了。
本节课讲的是损失函数和优化的内容。(推荐deep learning的中文版,回头再加上这部分的学习笔记)
上一讲提到了视觉识别的挑战,尤其是图像分类。现在不仅能对猫进行分类识别,对成千上万的物体也能进行识别,且利用最前沿的算法,我们的识别精度可以达到人类的精确度,在识别某些物体时精度甚至更高。这样的识别算法已经在我们的手机里运行。
这里写图片描述
对于下面这个来自德国的数据集,我们不能对它进行硬编码来分类,而必须先训练数据,得到合适的分类器。我们得到不同的训练集和交叉验证集,来得到超参数和测试集。具体讲了这个最近邻分类器和KNN分类器的例子。
这里写图片描述

这里写图片描述
最后讲解了一个训练样例。我们有一个训练集,三张图片,10个类。评分函数以特定一系列的随机权重对每一个图片的每个类进行评估分数。我们得到了一些分数。有些好有些不好。如左边第一列,正确的类别是猫,但是猫类只得到2.9分,不算好。对于不同的权值可以得到 不同的分数,这个用来对图像分类。我们需要对得到的权值进行评估,一旦我们有这个损失函数,就可以对它进行最小化,从而得到最合适的权值组合。
这里写图片描述
假设我们有三个类和三幅图像,以及一些随机初始权值。使用分类算法得到最后分类评估分数。
这里写图片描述
Li是损失函数。我们把分类算法得到的各类的分数si带入损失函数,得到损失值.
losses分别是2.9,0,10.9。
L=(2.9+0+10.9)/3=4.6
Q1:what if the sum was instead over all classes?(including j = y_i)
Q2:what if we used a mean instead of a sum here?doesnt matter at all, w wont change in this way.
Q3:what is the min/max possible loss?

【CS231n笔记】03 Loss functions and Optimization 阅读详情

相关推荐

CS231n计算机视觉课程:从零到精通的深度学习实践指南

如果你正在寻找一门真正能带你从零基础入门,并最终掌握计算机视觉核心能力的课程,那么斯坦福大学李飞飞教授主讲的CS231n《面向视觉识别的卷积神经网络》课程,几乎是你无法绕开的必学经典。但问题来了:这门课程内容庞大、涉及数学和编程基础,网上资料虽多却良莠不齐,一个新手该如何高效、系统地学习,并最终能动手实践,而不是仅仅停留在“看过”的层面? 更关键的是,网络上充斥着“斯坦福2026最新版李飞飞亲授”这类标题,容易让人产生误解。事实上,CS231n课程的核心公开视频版本定格在2017年,其理论基石(如卷积神经网

weixin_34110749的博客 464

风光储互补微电网在偏远地区的应用实践:从建模到仿真全解析

本文深入解析了风光储互补微电网在偏远地区的应用实践,从系统设计到仿真建模全流程。通过Simulink等工具进行动态仿真,验证了系统在多种工况下的可靠性,并结合实际案例展示了其显著的经济和环保效益。文章为从业者提供了从技术路径到实施优化的全面指导。

weixin_29047545的博客 271

Gephi实战指南——从数据导入到可视化输出

本文详细介绍了Gephi数据可视化工具的使用方法,从数据导入到可视化输出的全流程实战指南。涵盖Gephi三大工作区功能、数据导入技巧、图形编辑进阶操作以及专业级可视化输出方案,帮助用户高效完成社交网络分析等复杂任务。

weixin_28731223的博客 484

YOLOv11改进-卷积-引入Upsampling by Dynamic DySample 解决传统上采样灵活性问题

现有的上采样方法如等,依赖于动态卷积来生成上采样的内容感知核,但这些方法需要额外的子网络生成动态卷积核计算量较大。尤其是 FADE 和 SAPA 需要高分辨率的特征图作为引导,进一步增加了计算负担,并限制了应用场景。DySample的核心思想是将上采样过程重新定义为点采样(Point Sampling)。通过学习输入特征图中的采样点坐标,DySample 生成内容感知的采样点来对特征图进行重新采样,而不是使用动态卷积核。具体实现步骤如下:​​1. 输入特征图:大小为 C×H×W的输入特征图。

qq_64693987的博客 4663

【ODX介绍】-5-用于Flash刷写的ODX-F文件概述

用于Flash刷写的ODX-F文件概述

「汽车电子助手」的博客 2532

《网络信息制作与发布》实训全流程:从专题策划、网站构建到前端实现与上线发布

本文详细介绍了WEB设计专题网站从策划到发布的全流程。主要内容包括:1.网络专题设计(确定主题、编写策划方案、素材搜集整理);2.网站结构构建(设计二级栏目、绘制布局图);3.艺术设计(配色方案、版式设计);4.网页制作(使用Dreamweaver进行标准化布局);5.信息发布(通过Dreamweaver和CuteFTP上传文件、网站维护与备份)。以"学习WEB设计"专题为例,采用框架结构,包含20余个栏目,使用深灰和蓝色为主色调。文章提供了完整的操作步骤和技术要点,适用于网站开发学习者

深耕计算机专业知识与技术。 1536

【MT7628】固件开发-SDK4320添加MT7612E WiFi驱动操作说明

【MT7628】固件开发-SDK4320添加MT7612E WiFi驱动操作说明

wgl307293845的博客 2081

MIPI D-PHY IP 使用说明(一)

目录 前言 一、IP 特点 二、IP 可用性 三、IP 总览 四、IP 声明 五、IP 结构 六、IP 分流桥 模式 七、端口描述 1、PPI 接口信号 1、常规 PPI控制信号 2、发送模式 时钟通道 高速 PPI 信号 3、发送模式 时钟通道 逃逸模式PPI 信号 4、发送模式 数据通道 高速 PPI 信号 5、发送模式 数据通道 控制接口PPI 信号 6、发送模式 ...

记录所学,分享知识,结识挚友 2508

计算电磁学(三)有限差分方法

有限差分方法(FDM)是一种数值处理方法,通过将偏微分方程变换为一组代数方程,通过求解代数方程组来得到原边值问题的近似值。由于有限差分法非常简单,所以也特别的稳定高效。其中时域有限差分方法(FDTD)是电磁分析中的常用方法。在计算电磁学中,常用有限差分方法(finite difference equations)来替代微分方程。一个有限差分法通常包括三个步骤将求解域划分网格用有限差分方程逼近给定的微分方程求解在给定边界条件和初始状态下的方程常用的网格模型方阵斜方阵三角阵圆形阵。

CCC_B的博客 1640

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: CS231n第二节
下一篇: 安装windows版caffe
早安啊
博客等级 码龄10年 25粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值