吴恩达机器学习与CS231n对于Backpropagation的解释

最新推荐文章于 2022-08-22 18:33:31 发布
最新推荐文章于 2022-08-22 18:33:31 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： 人工智能 文章标签： 机器学习 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43596764/article/details/121416384
版权

在学习斯坦福-吴恩达-机器学习和计算机视觉过程中，我发现两门课程对Backpropagation的解释并不一样，因此进行了一下探究

下面先简单介绍一下每个课程对于Backpropagation的讲解

吴恩达

在这里插入图片描述在这里插入图片描述

这里吴恩达引入误差这个中间结果进行梯度的计算，将每层上层的误差乘上此层的神经元输出，经过平均和正规化得出梯度

CS231n

在这里插入图片描述

这里使用偏导数传递的方法进行方向传播，概括的说就是使用从下一个神经元传播来的Upstream gradient与本地神经元的Local gradients相乘得到Downstream gradients传播至上一层

总结

二者本质上是相同的，由于CS231n的解释非常接近反向传播的原理，因此这里以其为基础，试图将吴恩达的方法向其转化进行解释。

吴恩达的方法中，每个变量其实都与CS231n中计算Downstream gradients时的各运算成员是对应的：

  1. 误差可以理解为Upstream gradient，δ(L)代表L关于a(L)
最低0.47元/天 解锁文章
斯坦福吴恩达-深度学习和机器学习全套视频+课件！
Alexquyun的专栏
06-24 862
这些课程专为已有一定基础（基本的编程知识，熟悉 Python、对机器学习有基本了 解），想要尝试进入人工智能领域的计算机专业人士准备。介绍显示：“深度学习是科技业 最热门的技能之一，本课程将帮你掌握深度学习。” 学生将可以学习到深度学习的基础，学会构建神经网络，并用在包括吴恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。
吴恩达反向传播算法推导,吴恩达卷积神经网络ppt
shirley67269的博客
08-31 745
作为人工智能成果的集大成者，无人车在机器学习领域仍有很大发展空间，吴恩达在演讲中描述了无人驾驶的传统模型：通过图片观测附近的车(cars)与行人(pedestrians)，计算出该有的路径规划(plan)，然后通过公式/规则判断出应该进行的下一步行动(steering)，如果可以直接把图片处理成最终的操作指令可以指数级提高反应速度，带来效率提升。Hopfiled网络也提供了模拟人类记忆的模型。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。...
斯坦福大学机器学习cs231n-master
01-21
斯坦福课程,有助于学习深度学习代码和知识.
tensorflow 迁移学习_中文学习资源：斯坦福大学CS231n计算机视觉课程
weixin_39726267的博客
10-22 197
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Kesci.co我们的公众号：和鲸社区（ID：heywhale-kesci）有干货，来！大家好，此次本鲸给大家翻译的项目是斯坦福大学的CS231n计算机视觉课程，BY李飞飞，就是头图这位，2017年版本。 课程网站如下：http://cs231n.stanford.edu/2017/这门课程对于数学推导部分要求不高。注重实...
吴恩达斯坦福大学机器学习 CS229 课程学习笔记（一）
zcg1942的博客
04-09 7810
说到机器学习总绕不过几个鼎鼎大名的人物，他们都创造了不少的机器学习资料，斯坦福吴恩达Andrew Ng的公开课CS229；Google李飞飞的CS231、周志华的、李航的《统计学习方法》、林轩田的《机器学习基石》、Peter Harringtond 的《机器学习实战》、周志华的《机器学习》（西瓜书，书中都是拿西瓜举例子）。CS229的官方网站是http://cs229.stanford.edu/，...
CS231n课堂笔记翻译PDF版本、吴恩达深度学习、机器学习笔记
weixin_39931683的博客
10-19 321
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/abc_138/article/details/78608609 ...
CS231n——机器学习基础算法
lt1103725556的博客
04-30 231
KNN（K-近邻算法） 原理 有监督学习。 已有一堆正确分类的数据集，对于新的数据，通过计算在新数据的一定距离内的数据中，哪类数据占优(投票)，判定新的数据的类别。 k——离新数据最近的数据个数(总投票数) 距离 L1距离或L2距离，见CS231n学习笔记 L1距离：d1(I1,I2)=∑p∣I1p−I2p∣d_1\left ( I_1,I_2 \right )=\sum_p\left | I...
一个简单的神经网络模型，包括神经网络的各种基本功能。主要参考吴恩达CS231N课程_ANN.zip
最新发布
10-02
在吴恩达的CS231N课程中，神经网络模型被深入讲解，该课程专注于计算机视觉，强调了卷积神经网络（CNN）在图像识别和处理中的应用。然而，即使是在这样专业的课程中，也会从基础的全连接神经网络（即这里的ANN——...
吴恩达CS229机器学习笔记概要：从监督学习到深度学习
"斯坦福大学机器学习课程CS229的中文笔记涵盖了广泛的主题，由吴恩达教授编撰。该笔记详尽地介绍了机器学习的基本概念和核心算法，旨在帮助学生深入理解并掌握这个领域的关键理论和实践技巧。课程内容分为多个章节，...
机器学习—课程学习（机器学习+机器视觉CS231n）
ZSZ_shsf的博客
08-15 1502
Andrew NG的机器学习课程： http://open.163.com/special/opencourse/machinelearning.html 课件资料可以直接在该页面打包下载李菲菲cs231n深度学习计算机视觉课程 听课网址：http://study.163.com/course/courseMain.htm?courseId=1003223001 平台：网易公开课 课件资料
cs231n课程学习笔记中文版
01-03
cs231n课程学习笔记翻译后的中文版，经过整理后变为word文档，供大家下载学习
coursera machine learning 视频及字幕
03-13
coursera上的经典课程machine learning全套视频下载。由于太大不能放上来，这里给出百度云链接。
【深度学习笔记】cs231n neural networks 3
weixin_43589205的博客
07-30 1553
cs231n课程的笔记
CS231n——机器学习:线性分类器、Nearest Neighbor分类器、SVM分类器、Triplet loss（三元损失函数）
qq_44068512的博客
09-24 602
1.线性分类器 线性映射：f(xi​,W,b)=Wxi​+b 每个图像数据都被拉长为一个长度为D 的列向量，大小为[D x 1]。其中大小为[K x D]的矩阵W 和大小为[K x 1]列向量b 为该函数的参数。参数W被称为权重，b被称为偏差向量。 输入数据（xi,yi）是给定不可改变的，但是参数W和b是可控制改变的，们的目标就是通过设置这些参数，使得计算出来的分类分值情况和训练集中图像数据的真实类别标签相符。 线性分类器： 计算图像中3个颜色通道中所有像素的值与权重的矩阵乘，从而得到分类分值。
CS231n的主讲老师Andrej说，要从底层代码开始构建神经网络，而不是仅仅使用框架
pan5431333的博客
09-20 1277
本周学完了deeplearning.ai专项课程的第三门课Structuring Deep Learning Projects的第一周课程，在本周的大佬访谈栏目Heroes of Deep Learning中，吴恩达请到了Stanford教CS231n课程的老师Andrej Karpathy来做分享。 我之前也完整的学习过CS231n这门课，对课程印象最深刻的就是李飞飞除了第一节课出现过
吴恩达 matlab,吴恩达机器学习记录--Matlab 一些基本操作
weixin_26786277的博客
03-18 125
1.加减乘除2.真假 “== ~=”3.逻辑与 逻辑或 “&& ||”4.变量位数长短format short/format long%0.2f (小数点后两位数)5.矩阵表示 A = [1 2;3 4;5 6] (三行两列)v = [1 2 3] (行向量)v = [1;2;3] (列向量)6.生成矩阵 (1) v = 1:0.1:2v = 1:...
Cs231n笔记--图像分割和目标检测
iwill323的博客
08-22 891
CS321n 2022PPT笔记 语义分割，目标检测，R-CNN算法，实例分割
CS231n笔记--图片线性分类
iwill323的博客
08-19 517
CS231n第二课笔记
斯坦福大学CS231课程笔记1
wang2008start的专栏
10-13 3337
从线性回归到神经网络 Mini-batchSGD 正向传播计算loss反向传播计算梯度，根据梯度更新参数 图的拓扑排序正向和反向 BatchNormalization 批量正则化 优势：提升梯度流向，可是使用更大的学习率；减少对初始化的依赖；由正则化的作用，减少dropout的使用 激活函数 数据预处理 学习率 loss不下降，学习率太小 loss爆炸，学习率太大，出现Nan时，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值