【CS231n笔记】04 Backpropagation and Neural Networks part 1

【CS231n笔记】02 Image Classification pipeline 阅读详情

主要内容:
1.反向传播算法
2.神经网络介绍

1.反向传播算法

第二节和第三节中已经介绍了分类器的评分函数,两种常用的损失函数,以及通过梯度下降进行优化的方法,计算梯度,然后沿着梯度相反的方向进行优化,一般用解析梯度来计算,用数值梯度进行检查。但是,对于复杂的模型来说,求取每个参数的解析梯度也是非常复杂的,所以要通过另外一个角度来解决这个问题,即梯度的反向传播(Backpropagation)算法。
首先用计算图的方式来描述模型,对于线性分类器可以表示为
这里写图片描述
对于卷积神经网络(Convolutional Network),以AlexNet为例,可以表示为
这里写图片描述
另外还有更加复杂的神经图灵机(Neural Turing Machine)。
对于这种复杂的模型来说,前向(损失函数值)和反向(梯度值)的计算用表达式来描述是不现实的。
一般以计算图的方式对模型进行描述,将模型中的模块抽象成层(layer)的概念,层内实现了初始化、前向传播和反向传播,然后将不同功能的层组合,成为一个复杂的模型。这一过程即如搭积木一般
这里写图片描述
梯度在层之间从后向前计算,某参数的梯度包含两个部分,局部梯度和整体梯度,其中整体梯度即损失函数对于该参数后面所有层中相关变量的偏导数。

总结
● 神经网络模型一般都非常复杂,对每个参数写出其梯度表达式是不现实的
● 反向传播就是沿着计算图的结构递归地应用链式法则来求取输入、参数、中间件的梯度
● 用计算图结构实现模型,其中的结点/层实现了各自的前向和反向
● 前向:计算一个操作的结果,保存用于计算梯度所需的中间变量
● 反向:计算损失函数相对于输入的梯度值

2. 神经网络介绍

这里写图片描述
线性分类器评分函数: f=Wx
两层神经网络评分函数: f=W2max(0,W1x)
其中 max() 是一种激活函数(Activation),后面会介绍多种常用激活函数。神经网络的计算过程可以表示如下
这里写图片描述
以CIFAR-10数据集为训练样本,输入层为 X ,共3072(32*32*3)维,和参数W1相乘得到隐藏层 h ,隐藏层神经元经过激活函数,然后和参数W2相乘得到最后的评分。隐藏层 h 中的神经元个数是一个超参数,会影响模型性能。
第二节中讲到线性分类器可以看作模板匹配,是对训练图像的融合,得到各类的模板,如下图
这里写图片描述
以汽车为例,它需要融合多个朝向多种颜色的车,然而线性分类器的能力并不足以达到区分这么多特征,所以效果并不好。如果在中间加上一个隐藏层,构成上图所示的两层神经网络模型,那么隐层神经元就可以对多种特征进行表示,比如某个神经元代表朝向正前,某个神经元表示蓝颜色,也就是通过隐藏层进行分类,然后再经过W2的汇总整合,形成最后的评分,如此一来模型的区分能力就会得到极大的提升。神经网络通过加入隐藏层引入多样性,提高区分能力。
【学生提问】如果隐层神经元数量少于10,神经网络的性能是否还优于线性分类器?
答案是应该还是要比线性分类器更好。
扩展神经网络最简单的方法就是添加隐层,一般来说中间的隐藏层都具有相同的结构,即包含相同数量的神经元以及使用相同的激活函数,例如扩展到三层神经网络,则评分函数为 f=W3max(0,W2max(0,W1x)) 。

下面详细讲解神经元的结构。
生物神经元如下图
这里写图片描述
细胞体(cell body)周围有很多树突(dendrites),与其他神经元相连,接受其他神经元的信号,即神经元的输入。另外还有轴突(axon),用来将该神经元的信号传递到其他神经元,即神经元的输出。由此可以构造出一个比较粗糙的神经元模型
这里写图片描述
对不同输入有不同的权重,求和并加偏置之后,通过激活函数,得到最后的输出。在生物学模型里习惯使用Sigmoid函数作为激活函数。代码如下

class Neuron:
  def neuron_tick(inputs):
    """ assume inputs and weights are 1-Dnumpy arrays and bias is a number """
    cell_body_sum = np.sum(inputs * self.weights) + self.bias
    firing_rate = 1.0 / (1.0 + math.exp(-cell_body_sum)) # sigmoid activation function
    return firing_rate

常用的激活函数
●Sigmoid函数
σ(x)=11+e−x
这里写图片描述
●双曲正切函数(tanh)
tanh(x)=ex−e−xex+e−x
这里写图片描述
●修正线性单元(Rectified Linear Unit, ReLU)
这里写图片描述
●Leaky ReLU
这里写图片描述
多种ReLU变种
这里写图片描述
●Maxout
max(wT1x+b1,wT2x+b2)

神经网络架构
用神经元组合成神经网络,相邻层间的神经元全部互连,所以被称为全连接层(Fully Connected Layers)
X层神经网络,这里的X是有权重的层的数量,所以不包含出入层。
将神经元分层,每层中的所有神经元具有相同的输入,可以并行运算,所以分层化是一种计算技巧。
以三层神经网络为例,前向传播代码如下

# forward-pass of a 3-layer neural network:
f = lambda x: 1.0 / (1.0 + np.exp(-x)) # activation function (use sigmoid)
x = np.random.randn(3, 1) # random input vector of three numbers (3*1)
h1 = f(np.dot(W1, x) + b1) # calculate first hidden layer activations (4*1)
h2 = f(np.dot(W2, h1) + b2) # calculate second hidden layer activations (4*1)
out = np.dot(W3, h2) + b3 # output neuron (1*1)

Demo:http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html
通过demo可以发现隐藏层神经元数量以及正则项系数对模型的影响。
随着隐藏层神经元数量的增加,模型的区分能力更强。
这里写图片描述
随着正则项系数的减小,模型的区分能力变强。
这里写图片描述
正则项系数较大时对参数W的惩罚力度较大,那么W中的值就很小,模型实际使用的变量(输入)就很少;随着系数减小,参与决策的变量增多,提高模型的区分能力。

总结
● 将神经元组织成全连接层
● 层的概念可以利用高效的向量计算编码实现(例如矩阵相乘)
● 神经网络并不是真正的(生物)神经元
● 神经网络bigger=better,但是需要更强的正则化方法,防止过拟合

【学生提问】怎样权衡神经网络的深度(层数)和宽度(每层的神经元数量)?
这里还没有一个明确的答案,一般对于图像问题,层数会更重要一些,但是如果数据很简单的话,网络深度的作用不大。

【CS231n笔记】03 Loss functions and Optimization 阅读详情

相关推荐

【CS231n笔记】08 Spatial Localization and Detection

【CS231n笔记】08 Spatial Localization and Detection

Bin Learning 653

数据科学图像搜索:用视觉锚点高效获取概念图解与学习资源

数据科学知识高度依赖可视化表达,如决策树分裂图、混淆矩阵热力图、Transformer架构剖面图等,这些‘视觉锚点’承载着远超文字的信息密度和认知效率。其底层原理在于人类大脑处理图像速度是文字的6万倍,且图表遵循通用‘视觉语法’(如ROC曲线下面积对应AUC)。技术价值体现在绕过抽象描述直击实现本质,显著提升概念理解效率与教学准确性。典型应用场景包括新手突破理解瓶颈、工程师快速定位算法可视化实现、讲师高效筛选高质量教学素材。本文聚焦Google图片搜索在数据科学领域的深度应用,揭示如何将模糊需求转化为可检索

442

【CS231n笔记】01 Introduction

【CS231n笔记】01 Introduction

Bin Learning 588

CS231n 2017 学习笔记04——反向传播与神经网络 Backpropagation and Neural Networks

本博客内容来自 Stanford University CS231N 2017 Lecture 4 -Backpropagation and Neural Networks 课程官网:http://cs231n.stanford.edu/syllabus.html 从课程官网可以查询到更详细的信息,查看视频需要FQ上YouTube,如果不能FQ或觉得比较麻烦,也可以从我给出的百度云链接中下载...

weixin_30389003的博客 155

告别安装报错!保姆级教程:用阿狸狗破戒大师V3.2.6搞定Cadence 17.4完整安装与补丁

本文提供Cadence 17.4的完整安装与破解教程,特别针对国内用户常见问题优化。从前期准备、镜像处理到阿狸狗破戒大师V3.2.6的智能破解,再到补丁管理与性能调优,详细指导每一步操作,确保一次性安装成功并提升设计效率。

weixin_30632089的博客 843

【转载】参数估计(Parameter Estimation):频率学派(最大似然估计MLE、最大后验估计MAP)与贝叶斯学派(贝叶斯估计BPE)

基础 频率学派与贝叶斯学派 http://www.douban.com/group/topic/16719644/ http://www.zhihu.com/question/20587681 最大似然估计(Maximum likelihood estimation,MLE) http://baike.baidu.com/view/1918804.htm http://baike.baidu.co

影 的专栏 3413

Ubuntu16.04+CUDA9.1+cudnn-..-v7环境安装caffe runtest出现问题

./include/caffe/test/test_gradient_check_util.hpp:175: Failure [ FAILED ] BatchReindexLayerTest/3.TestGradient, where TypeParam = caffe::GPUDevice<double> (1207 ms) ....... [----------] Global test environment tear-down [==========] 2123 tests from 281

张宇超比我还懒 4282

芯片良率提升:从设计到制造的系统性工程实践

在半导体制造领域,良率是衡量生产效率和成本控制的核心指标,直接关系到芯片的经济效益与市场竞争力。其本质是合格芯片占总产出芯片的百分比,提升良率需要从设计源头到制造末端的全流程协同优化。从技术原理看,它涉及可制造性设计、工艺过程控制、缺陷检测与根因分析等多个复杂环节,尤其在先进制程下,随机缺陷和参数变异成为主要挑战。其技术价值不仅在于降低单颗芯片成本,更能加速产品上市、保障可靠性,并成为企业技术实力的关键体现。应用场景贯穿智能手机、数据中心、自动驾驶和人工智能等所有高端芯片领域。本文将结合【芯片制造】与【良率

weixin_42526068的博客 636

【深度学习】CS231n系列课程Lecture4:Backpropagation and Neural Networks(part 1)

先贴出课程链接: http://pan.baidu.com/s/1cBznv4 密码: 7nbg课程开始回顾了一下得分函数,SVM loss, data loss + regularization,还有optimization,常用的方法就是Gradient Descent,梯度下降,数值梯度存在速度慢,求得的是近似解的问题,但是代码比较好写。解析梯度使用的是微积分的方法,速度快,很精确,但是代码稍

Felaim的博客 1098

Coze智能体网页集成实战:从零搭建免登录AI助手

本文详细介绍了如何利用Coze Chat SDK从零开始为网站集成免登录AI助手。通过获取访问令牌和智能体ID,仅需几行JavaScript代码即可将功能完整的对话窗口嵌入网页,实现开箱即用的智能交互。文章重点讲解了核心部署步骤、会话隔离方案以及UI深度定制方法,帮助开发者快速打造贴合品牌、提升用户体验的网页AI助手。

gold8的专栏 562

突破边缘AI算力瓶颈:YOLOv12模型剪枝与知识蒸馏联合优化全攻略

这套剪枝-蒸馏联合方案的优势在于其系统性和可靠性。它不是单一的技巧,而是一套完整的工程流程,确保了从研发到部署的无缝衔接。

m0_71589036的博客 219

【CS231n笔记】07 Convolutional Neural Networks

【CS231n笔记】07 Convolutional Neural Networks

Bin Learning 623

极智嘉嵌入式面试题及参考答案

IIC(Inter-Integrated Circuit)即集成电路总线,是一种由 PHILIPS 公司开发的两线式串行总线,用于连接微控制器及其外围设备。它仅使用两根线,即串行数据线 SDA 和串行时钟线 SCL,就能实现多个设备之间的通信,具有简单、高效、占用资源少等优点,广泛应用于各种嵌入式系统中。

大模型大数据攻城狮的专栏 922

【CS231n笔记】00 课程相关信息

【CS231n笔记】00 课程相关信息

Bin Learning 596

Vue - 解决报错 Error: Cannot find module ‘XXX\@vue\cli-service\bin\vue-cli-service.js‘(vue项目编译运行出错,启动失败)

vue报错,Error: Cannot find module ‘@vue\cli-service\bin\vue-cli-service.js‘,vue2项目启动报错,vue3项目运行出错,vue执行npm run serve报错,找不到@vue/cli-service模块,vue项目关于:Error: Cannot find module ‘D:\@vue\cli-service\bin\vue-cli-service.js‘的解决方案,vue项目跑不起来了,Vue项目报错,跑项目报错Cannot fi

🏆 前端领域优质创作者 3115

多模态论文笔记——CogVLM和CogVLM2

本文详细介绍LoRA版本的多模态模型——CogVLM和CogVLM2。在SD3中使用其作为captioner基准模型的原因和优势。

haopinglianlian的博客 2205

【CS231n笔记】06 Training Neural Networks, Part 2

【CS231n笔记】06 Training Neural Networks, Part 2

Bin Learning 561

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【CS231n笔记】05 Training Neural Networks, Part I

【CS231n笔记】05 Training Neural Networks, Part 1

Bin Learning 466

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

RNNoise-SpeexDSP-WebRTC使用说明

本文介绍RNNoise、SpeexDSP与WebRTC音频处理库的下载、调用及参数配置方法,适用于Android语音工程集成。RNNoise基于深度学习,适合非稳态噪声降噪,需48kHz输入;SpeexDSP支持多采样率与回声消除,适用于全双工场景;WebRTC提供轻量级窄带处理。三者可串联使用:麦克风信号先经前级降噪(RNNoise或SpeexDSP),再进入WebRTC媒体引擎进行编码。重点说明各库的典型应用场景、接口调用方式、关键参数调节策略及采样率转换注意事项,帮助开发者高效集成与优化语音处理链路。

知识共享,你我皆是知识的搬运工 242

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Transformer 为什么能取代 RNN?从自注意力讲起

2017 年谷歌在《Attention Is All You Need》中提出 Transformer,核心是。它如今是 GPT、BERT、ChatGPT 的共同底座。

anew___的博客 980

基于深度学习的商品评论情感分析系统-毕业设计

面向商品评论的中文情感分析系统,支持单条预测、批量分析、情感分布与关键词、报告导出。TextCNN、BiLSTM、Transformer 在同一词表、同一数据切分、同一种子与超参下公平对比,测试集 F1 分别为 0.9101、0.9089、0.9075。结论是这一规模下模型复杂度未带来收益,但误差结构不同。附技术栈、截图、文档预览与演示视频。

csbysj2020 159

【原创深度学习项目】基于深度学习的建筑工地防护装备检测系统|安全帽与反光衣检测系统(RT-DETR-L 模型)

本文设计并实现了一套基于RT-DETR-L的建筑工地防护装备检测系统,采用Django+Vue前后端架构,实现对安全帽、反光背心等7类装备及“无PPE”“未戴安全帽”等缺失状态的精准识别。系统支持图片、视频、摄像头实时检测,具备参数可调、数据可视化与统计分析功能,有效解决小目标漏检、误检及管理难问题,助力智慧工地安全管理落地。文末可获取源码。

qq_1445749146的博客 233

图解循环神经网络(RNN)

RNN(循环神经网络)就是“带记忆的网络”:让网络拥有一块“记忆”,在处理当前数据时,能同时参考之前看过的内容;它不一次性看完全部输入,而是像人读书一样,一个字一个字地读,每读一个字就更新一次脑子里的记忆,然后用这份记忆去理解当前这个字。但便签一直在被改写,新信息不断挤占旧信息,传到第 40 步时,“巴黎”的痕迹已经淡得几乎没了。读到“贵”的时候,网络并没有重新去查“好看”这个词——但“好看”的影响已经融在了便签里(那个 1.5)。这三个困难的共同点:答案不在当前这一个字里,而在“前面那串东西”里。

技术管理两手抓,两手都要硬. 429

神经网络入门指南:从 CNN、RNN 到 Attention

神经网络的学习,本质是“预测—比较—纠错”的循环;CNN 通过局部连接与权重共享理解图像;RNN 通过隐藏状态传递上下文;LSTM 和 GRU 用门控机制管理记忆;Encoder–Decoder 把理解与生成拆成两个阶段;Attention 则让模型在每一步都能主动寻找最相关的信息。到这里,我们已经走完了从普通神经网络到 Attention 的完整路线。下一篇将正式进入 Transformer,看看它如何摆脱 RNN 的顺序计算,又如何让每个 Token 直接找到与自己相关的信息。

爱敲代码的小黄 398

AI 学习第 15 课:变长序列不 pack 直接喂 RNN,隐状态全被 0 污染

NLP 的 batch 里句子长短不一,短句垫 0 补齐后直接喂 RNN,看似能跑,实际上每个 0 垫步都在更新隐状态——短序列的最后一步输出根本不是它真实句子的结果。这一课用 torch 2.15(

aifannihao的博客 164
上一篇: 【CS231n笔记】03 Loss functions and Optimization
下一篇: 【CS231n笔记】05 Training Neural Networks, Part I
binlearning
博客等级 码龄10年 10粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值