机器学习中的关键概念与算法解析
1. 反向传播算法(Backpropagation)
1.1 定义
反向传播(Backpropagation,简称BP)是一种用于训练前馈神经网络的方法。它是一个迭代过程,根据误差度量的梯度来调整网络的权重参数。具体做法是先计算每个输出单元的误差值,然后将这些误差值反向传播通过网络。
1.2 前馈网络特性
前馈神经网络是由受前馈网络架构约束的“半线性”函数组成的数学函数。其架构是一个无环图,即没有闭环。
- 输入、输出和隐藏单元 :在无环图中,至少有一个单元的输入集为空,这些是输入单元,其活动值由外部训练数据设定;至少有一个单元的输出集为空,这些通常代表网络的输出;中间单元(隐藏单元)接收其他单元的输入并向其他计算单元输出。
- 单元活动计算步骤 :
1. 线性步骤 :输入单元的活动值分别乘以独立的“权重”参数,再加上“偏置”参数,设单元k的这个和为$x_k$,即$x_k = b_k + \sum_{j\in FanIn(k)} w_{kj} s_j$。
2. 非线性步骤 :单元k的活动值$a_k$是$x_k$的可微非线性函数,常用的是逻辑函数$a = \frac{1}{1 + exp(-x)}$,它将$[-1, +1]$映射到$[0, 1]$,其导数有利于BP的实现,即$a_k = f_k(x_k)$。
1.3 梯度下降
BP的推导是梯度下降优化方法的直接应用,依赖于网络误差的定义,常见
订阅专栏 解锁全文
1068



被折叠的 条评论
为什么被折叠?



