2017CS231n笔记4.介绍神经网络（省略版）

最新推荐文章于 2021-09-14 20:22:38 发布
原创 最新推荐文章于 2021-09-14 20:22:38 发布 · 382 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了深度学习中反向传播(BP)的概念，通过模块化和门(gate)的概念深化理解，介绍了Serena Yeung的教学观点，并对比了与Ng课程的不同。文章还涉及了一维BP和向量化BP的实现，以及PyTorch框架的应用。
部署运行你感兴趣的模型镜像

文章目录

内容概述

在线Latex公式
这节课对不住了，学过ng的深度学习和李宏毅的机器学习课程BP这块应该是理解比较深刻了，尤其是李宏毅的课程，在讲反向传播的时候提出了反向传播也是一个神经网络的观点，当然这节课的视频观看了以后也有一些收获，大概的简略的记录一下，这次课是由Serena Yeung（00后美女）来讲的，引入部分的思路和ng一样，用的是计算图（Computer Graph），可以看下ng深度学习课程第一门课2.7部分。

模块化

这里有所不一样的是，Serena在课程中提到了模块化的概念，也就更加直观的解释了为什么深度学习就好像是搭乐高！
在这里插入图片描述

门

还有一个新概念就是门（gate）：任何可微分的函数都可以看做门。可以将多个门组合成一个门，也可以根据需要将一个函数分拆成多个门。
在这里插入图片描述
还有最大值门：
在这里插入图片描述

一维BP实现：

在这里插入图片描述
貌似这里就是现在的一些深度学习框架学习使用的原理，老师给出了PyTorch的代码可以感受一下：
在这里插入图片描述

向量化BP实现

在这里插入图片描述
这里看得有点蒙，还是觉得ng的notation容易理解。。。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

CS231N-4-Neural Networks
Victor的草原
09-17 497
时隔4个多月，暑假去了Stanford同一个教室NVIDIA Auditorium上课，再次回到CS231N的课程，如今已是大三。没有退路。 2017年老师换了，内容也更新了，所以就不听去年的了。 本讲我预计是课程的核心内容，神经网络的介绍。注意Neural Networks包括CNN,RNN,DNN等，所以是个很基础的概念，用到的数学知识就是反向传播的链式法则。Recap Our objec
CS231n:(4) Backpropagation and Neural Networks
Wangpeiyi9979的博客
07-19 393
问答总结: 文章目录一、计算图1、计算图结构2、梯度计算技巧 一、计算图 深度学习、机器学习的优化过程中，我们是要使得losslossloss尽量小。方法是使得参数沿着梯度方向负方向更新。如何计算梯度?前一节已经给出两种方法。(1)利用差分方式计算梯度。(2)直接利用微积分求出梯度解析式。但是这两种方法，在复杂的深度学习网络中，都不太适合程序化。因此，我们引出计算图的概念。 1、计算图结构 (1...
2017CS231n笔记6.训练神经网络（上）
老毛的博客
06-13 678
文章目录概述激活函数sigoid的优缺点tanh(x)特点ReLU优缺点Leaky ReLU优缺点Exponential Linear Units (ELU)MaxoutTLDR(Too long Don't Read)数据处理TLDRWeight InitializationXavier初始化 概述 在线Latex公式 本节包含两大块内容，第一块是前面三个，第二块是后面三个： Activati...
在神经网络中隐藏神经网络： On Hiding Neural Networks Inside Neural Networks
weixin_48654804的博客
09-14 530
On Hiding Neural Networks Inside Neural Networks https://arxiv.org/abs/2002.10078v3 本文提出了一种新颖的隐写方式，在神经网络中隐藏一个神经网络。神经网络所包含的参数往往比训练数据更多，过剩的参数量给信息隐藏提供了天然的土壤。神经网络拥有千万级甚至上亿的数据量，也就导致其参数的可能取值非常非常多，参数空间非常非常大。多任务的实质就是：优化获得分别满足各个任务的性能要求的参数空间的交集。 本文也可以看成是一个多任务学习，满足原始
2017CS231n笔记7.训练神经网络（下）
老毛的博客
06-18 668
本节包含三个内容： - Fancier optimization - Regularization - Transfer Learning
CS231n学习笔记.zip
最新发布
06-08
此外，卷积神经网络作为处理图像数据的主流架构，在CS231n学习笔记中也会有深入的讲解，包括卷积层、池化层、全连接层的作用和设计，以及如何通过层叠这些基本组件构建有效的CNN模型。 在图像分类方面，笔记可能会...
CS231n课程笔记.md
07-30
翻译修改了官方文档所有笔记，供大家进行参考学习，有不足的地方可以帮我指正一下
CS231n-全连接神经网络笔记
07-28
通过研究CS231n的全连接神经网络笔记，我们可以更深入地理解图像分类任务的挑战和解决方案，以及如何使用机器学习和深度学习技术来应对这些挑战。这些知识不仅有助于在学术上探索计算机视觉的前沿，而且在实际应用中...
2023最新CS231N课程笔记
01-12
CS231n课程首先会介绍图像表示的基础知识，包括像素数组、色彩空间、图像滤波以及图像金字塔等概念。这些基础知识对于后续理解和实现复杂的视觉任务至关重要。 二、卷积神经网络（CNN） CNN是计算机视觉领域最重要...
CS231n课程笔记翻译：卷积神经网络笔记.pdf
05-18
卷积神经网络（CNNs/ConvNets）是深度学习领域中一种非常重要的神经网络结构，专门用于处理具有类似网格结构的数据，例如图像（2维网格）和视频（3维网格）。由于图像的像素点是按二维网格排列的，传统的全连接神经...
cs231n 学习 -- Lecture 4 Backpropagation and Neural Networks
wu472269100的专栏
01-08 218
接上一节求解解析梯度引出反向传播相关知识，高等数学上就是复合函数求导。 eg.                                             =>           函数可以表示为加法器和乘法器的组合电路，电路图表示如下: 函数对  的偏导数可根据所谓的Chain rule：     求得。 总结下求解过程，首先是拆分成各个组件，得到组件输出值...
cs231n'18：Lecture 4 | Introduction to Neural Networks
FortiLZ的博客
06-26 302
第四节课前半部分讲Course Note 4的backprop，这一部分是这门课的重点，后面要写许多与此相关的代码，到时会一个一个的详细说。具体见Course Note 4笔记以及里面的作业。后面半部分讲与brain相关的一些知识，听听就行了。Lecture 4 链接...
超出三行部分用省略号显示_如何用三行数学建立神经网络
cumian9828的博客
08-05 329
超出三行部分用省略号显示 人工智能的无代码指南 (A code-free guide to Artificial Intelligence) So about a year ago, I read this fantastic article by Trask. 所以大约一年前，我读了Trask的这篇精彩文章 。 If you didn’t click the link, do it now. ...
20170226#cs231n#4.Backpropagation反向传播
LiuSpark
02-26 849
Backpropagation反向传播反向传播是一种利用链式法则chain rule去递归计算表达式梯度的方法 训练集的xix_i的梯度仍然是有用的，例如在将神经网络所做的事可视化以便于理解的时候 参考资料：CS231n课程笔记翻译：反向传播笔记-知乎智能单元-杜客ChainRule链式法则∂f∂x=∂f∂q∂q∂x\frac{\partial f}{\partial x}=\frac{\par
网络逻辑结构设计的内容不包括（ ）。【最全！最详细解析！】
weixin_43899069的博客
11-04 3694
网络逻辑结构设计的内容不包括（ ）。 A.逻辑网络设计图 B.IP地址方案 C.具体的软硬件、广域网和基本服务 D.用户培训计划 正确答案：D 解析： 网络逻辑结构设计输出内容包括以下几点： ・ 网络逻辑设计图 ・ IP地址分配方案 ・ 安全管理方案 ・ 具体的软硬件、广域网连接设备和基本的网络服务 ・ 招聘和培训网络员工的具体说明 ・ 对软硬件费用、服务提供费用以及员工和培训费用的初步估计 物理网络设计是逻辑网络设计的具体实现，通过对设备的具体物理分布、运行环境等的确定来确保网络的物理连接符合逻辑设计的
BP神经网络概念
keven_deng的博客
07-22 1374
BPBPBP神经网络 1.激活函数 ​ 激活函数（Activation Function）是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解复杂的非线性函数，具有十分重要的作用。 ​ 如果不使用激活函数，每一层输出都是上一层输入的线性运算，无论神经网络有多少层，最终的输出只是输入的线性组合，相当于感知机。如果使用了激活函数，将非线性因素引入到网络中，使得神经网络可以任意逼近任何非线性函数，能够应用到更多的非线性模型。 常用的激活函数 sigmo
2017CS231n李飞飞深度视觉识别笔记（六）——训练神经网络（上）
Messi-Q Blog
07-16 2584
第六章 训练神经网络（上） 课时1 激活函数     我们已经讨论过如何使用计算图来表达一个函数，并且明确的探讨了神经网络，它包含若干个线性层，而层与层之间通过非线性函数进行连接实现堆叠；也介绍了卷积神经网络，它使用卷积层贯穿整个网络结构；这一章中将讨论训练神经网络的一些细节问题，包括：     （1）刚开始要如何建立起神经网络；     （2）要选择什么样的激活函数；     （3）如...
CS231n课程笔记翻译7：神经网络笔记 part2
This is bill的专属博客
07-27 1483
译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Neural Nets notes 2，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃进行校对修改。译文含公式和代码，建议PC端阅读。原文如下内容列表：设置数据和模型数据预处理权重初始化批量归一化（Batch Normalization）正则化（L2/L1/Maxnorm/Dropout）损失函数小结设置数据和模
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oldmao_2000

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值