【西瓜书】第五章 神经网络

一、M-P 神经网络

“M-P神经元模型”：在这个模型中,神经元接收到来自几个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。

二、感知机模型和多层前馈算法

感知机与多层网络 感知机是一种简单的二分类模型，由输入层、权重和阈值组成。
多层网络(MLP)包含输入层、隐藏层和输出层，可以解决非线性问题。多层前馈网络每层神经元与下一层神经元全互连神经元之间不存在同层连接，也不存在跨层连接

三、BP算法（误差逆传播算法）

BP算法分为两个阶段：前向传播和反向传播。

1. 前向传播：计算每个神经元的输出。
2. 计算误差：使用损失函数（如均方误差）计算输出误差。
3. 反向传播：将误差从输出层反向传播到输入层，计算每个权重的梯度。
4. 更新权重：使用梯度下降法调整权重。

基于随机梯度下降的参数更新方法：

参考文献

[1] 【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导
[2] 周志华.机器学习[M].清华大学出版社,2016.
[3] 谢文睿 秦州 贾彬彬.机器学习公式详解第2版[M].人民邮电出版社,2023.