第十章 神经网络参数的反向传播算法

本文详细介绍了神经网络的反向传播算法,包括代价函数的定义、反向传播的过程及其理解,梯度检测的重要性,以及随机初始化参数的意义。通过反向传播计算神经网络的偏导数,用于优化权重,实现模型的训练。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

1 代价函数

2 反向传播算法

3 理解反向传播

4 梯度检测

5 随机初始化

6 组合到一起


1 代价函数

      神经网络一般被定义为两种类型,二元分类和多元分类,假设训练集有m个训练样本,每个包含一组输入输出量x,y。L代表神经网络总层数,在这里设为4层。S_{l} 表示每层的处理单元个数。

      上图中左边是二分类问题,即输出层有一个输出神经元;右边为多类别分类问题,也就是说会有K个不同的类,输出为K维向量。

      相应于前面的讨论,这里我们要讨论拟合神经网络参数的代价函数,在神经网络中,我们使的代价函数是前面所学Logistic回归中代价函数的一般形式,但是神经网络具有多个输出单元的特性,因此在这里需要做出相应的改变:

      Loistic回归代价函数仅有一个输出单元,即y^{i},但神经网络中的y_{k}^{i} 表示第k个输出单元的第i个元素,上式中的求和项为K个输出单元之和。而正则项就是所有参数平方和与\lambda 之积。

2 反向传播算法

      正如前几章所学到的,要使代价函数最小化,需要代价函数的值和代价函数关于参数的偏导数,下面从一个训练样本的情况开始:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值