CS231N斯坦福计算机视觉公开课 03 - 神经网络和反向传播

最新推荐文章于 2023-06-06 17:01:26 发布
原创 最新推荐文章于 2023-06-06 17:01:26 发布 · 329 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #神经网络

CS231N斯坦福计算机视觉公开课 03 - 神经网络和反向传播

一、神经网络

1.输入与激活函数

  • 输入：不同的权重与输入值的乘积和 ∑ i = 0 w i x i \sum_{i=0}{w_ix_i} ∑i=0​wi​xi​
  • sigmoid激活函数：将前步的输入做处理，缩放到一个0到1的范围里
  • ReLU激活函数： R e L U ( x ) = W 2 m a x ( 0 , W 1 x ) ReLU(x) = W_2max(0,W_1x) ReLU(x)=W2​max(0,W1​x)，提取输入和0中的最大值，并作线性变化

在这里插入图片描述

  • 每一层的每一个神经元与上一层的全部神经元都做出链接，这样的层叫做全连接神经网络，也叫作多层感知机
  • 输出层的神经元个数表示的是输出的特征个数

在这里插入图片描述

假设输入为3072维的向量

  • 第一层有100个神经元，则第一层每一个神经元都有3072个权重，有100个偏置项
  • 第二层有10个神经元，则第二层的每一个神经元都有100个权重，有10个偏置项

在这里插入图片描述

二、反向传播

1.传播方式

  • 前向传播：根据公式计算
  • 反向传播：反向求导（链式求导法则）
  • 下图为计算过程，其中绿色为正向传播，红色为反向传播，图一为输入数字，图二为输入矩阵（向量）

在这里插入图片描述
在这里插入图片描述

Stanford机器学习---第五讲. 神经网络的学习 Neural Networks learning
Rachel Zhang的专栏
07-20 7万+
本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine learning中A
精讲CS231N斯坦福计算机视觉公开课笔记
weixin_45255011的博客
05-01 553
【子豪兄】精讲CS231N斯坦福计算机视觉公开课 计算机视觉发展历史与课程概述 大概讲了一些计算机视觉的运用范围（机器学习、生物、无人机、光学等）。Hubel和Wiesel在1959年发现猫对图像的边缘信息产生反映，每个神经元针对固定区域进行处理。 视觉是分层的。2012年，在ILSVRC比赛中AlexNet获得冠军。挑战：人体姿态估计、三维重建。 李飞飞，女，1976年出生于中国北京，美国国家工程院院士，美国国家医学院院士，美国斯坦福大学首位红杉讲席教授 [9] ，以人为本人工智能研究院（HAI）院长，A
斯坦福神经网络公开课
12-18
斯坦福公开课，神经网络的一些表示，对深度学习和卷积神经网络的初学者有一定的学习价值!
斯坦福大学CS231n计算机视觉课程
11-14
由视觉大神李飞飞开设的斯坦福大学CS231n计算机视觉课程
CS231N斯坦福计算机视觉公开课笔记
qq_16236875的博客
08-02 334
p6 可视化卷积神经网络： 导向反向传播让轮廓更明显，找到识别最大的原始图像 p9 ： CNN 网络工程的实践技巧，，3*3 卷积，步长为1 ，padding =1 使得feature map 维度不变。 两个3*3 替换一个5*5 ,感受野相同，可以减少参数，非线性变换的次数增多。 输入H*W*C，C是通道数，要C个卷积核，卷积核大小是7*7，参数是7*7*C*C，3个3*3 来代替，参数是3*3*C*C 乘法运算量： feature map 元素数* 每次卷积感受野数量： (H*W*C)*(7.
斯坦福大学公开课 CS231n_Convolutional_Neural_Networks_for_Visual_Recognition PPT
09-05
深度学习-面向视觉识别的卷积神经网络，2016斯坦福大学公开课。课程介绍： 计算机视觉在社会中已经逐渐普及，并广泛运用于搜索检索、图像理解、手机应用、地图导航、医疗制药、无人机和无人驾驶汽车等领域。而这些应用的核心技术就是图像分类、图像定位和图像探测等视觉识别任务。近期神经网络（也就是“深度学习”）方法上的进展极大地提升了这些代表当前发展水平的视觉识别系统的性能。 本课程将深入讲解深度学习框架的细节问题，聚焦面向视觉识别任务（尤其是图像分类任务）的端到端学习模型。在10周的课程中，学生们将会学习如何实现、训练和调试他们自己的神经网络，并建立起对计算机视觉领域的前沿研究方向的细节理解。最终的作业将包括训练一个有几百万参数的卷积神经网络，并将其应用到最大的图像分类数据库（ImageNet）上。我们将会聚焦于教授如何确定图像识别问题，学习算法（比如反向传播算法），对网络的训练和精细调整（fine-tuning）中的工程实践技巧，指导学生动手完成课程作业和最终的课程项目。本课程的大部分背景知识和素材都来源于ImageNet Challenge竞赛。 主讲人： 李飞飞，斯坦福大学计算机科学系副教授。担任斯坦福大学人工智能实验室和视觉实验室主任，主要研究方向为机器学习、计算机视觉、认知计算神经学。她在TED上的演讲，如何教计算机理解图片。
2019斯坦福李飞飞CS213n计算机视觉公开课全部最新资料.rar
03-14
本资源“2019斯坦福李飞飞CS213n计算机视觉公开课全部最新资料.rar”是一个珍贵的学习资源，包含了由著名AI专家李飞飞教授在2019年在斯坦福大学讲授的CS213n课程的所有材料。这个压缩包旨在为学生和研究人员提供一个...
cs231n课件.zip cs231n课件.zip
08-23
斯坦福大学的cs231n是一门专注于计算机视觉的知名公开课，它为学生提供了一个深入理解图像处理、深度学习和机器学习在视觉识别领域的应用的平台。"cs231n课件.zip"包含了这门课程的教学材料，如PPT演示文稿，以及...
斯坦福计算机视觉（CS231）
10-09
例如，cs231n_2017_lecture1.pdf中详细介绍了计算机视觉的基本概念和历史发展，让学生理解该领域的发展脉络。 接着，课程深入到深度学习的核心——卷积神经网络（CNN）。CNN是计算机视觉领域最为重要的模型，其通过...
斯坦福2017年CS231n计算机视觉课件合集
2017_CNN for CV”这一压缩包文件代表的是斯坦福大学在2017年推出的著名计算机视觉课程CS231n的完整课件资料，全称为“Convolutional Neural Networks for Visual Recognition”（用于视觉识别的卷积神经网络）。...
CS231n-2017年度课程ppt全集
07-29
2017年斯坦福大学计算机视觉方向深度学习CS231N课程讲义全集
李飞飞斯坦福经典CS231N课程2023季《深度学习计算机视觉》不容错过！附Slides
数据派THU
06-06 1332
来源：专知 本文为课程介绍，建议阅读5分钟李飞飞老师的CS231N课程《卷积神经网络视觉识别》被奉为经典，最新2023季4月4号开始了！众多想学习深度卷积神经网络的同学，可不能错过！地址：http://cs231n.stanford.edu/index.html计算机视觉已经在我们的社会中变得无处不在，应用在搜索、图像理解、应用程序、地图、医学、无人机和自动驾驶汽车。这些应用的核心是视觉识别任务，...
机器学习公开课笔记(4)：神经网络(Neural Network)——表示
zdy0_2004的专栏
12-23 1698
http://www.cnblogs.com/python27/p/MachineLearningWeek04.html 动机(Motivation) 对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多学习参数过多，从而复杂度太高。 神经网络(Neural Network) 一个简单的神经网络如下图所示，每一个圆圈表示一个神经元，每个神经元接收
神经网络（根据斯坦福大学网上机器学习公开课）
只为改变自己
09-03 1622
神经网络
Stanford公开课--神经网络的表示
Before1993的专栏
04-20 786
在一个神经网络里，我们将神经元模拟成一个逻辑单元，下面是一个最简单的情形：                               黄色圆圈就相当于神经元的作用，左边是输入，右边是输出；输出是：     其中：                              其中x0叫偏置单元 ，值总是为1.上面的那个函数在神经网络中也称为激励函数。是模型的参数，在神经
斯坦福大学深度学习公开课cs231n学习笔记（4）正向传播及反向传播
满城风絮
12-04 708
参考： http://cs231n.github.io/optimization-2/ https://zhuanlan.zhihu.com/p/21407711
CS231n 两层神经网络反向传播实现
hmsjdzzj的博客
03-26 2297
反向传播、激活函数、损失函数
斯坦福CS231n课程整理
cunyizhang的博客
06-27 1225
斯坦福CS231n课程整理
CS231n-2017 第4讲 反向传播算法与神经网络
suredied的博客
09-02 584
一. 反向传播算法 计算图模型 设有算式 f(W,x)=11+e−(ω0x0+ω1x1+ω2)f(W,x)=11+e−(ω0x0+ω1x1+ω2) f(W, x) = \frac{1}{1+e^{-(\omega_0 x_0 + \omega_1 x_1 + \omega_2)}} 使用计算图模型展示其前向计算过程，以及梯度的后向传播过程如下图所示： 图 1. 计算图模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值