《机器学习》(西瓜书)笔记(5-1)--神经网络

本文介绍了神经网络的基本概念及构成元素神经元模型,并详细解析了感知机与多层网络的工作原理。此外还深入探讨了误差逆传播(BP)算法及其在多层前馈神经网络中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第五章    神经网络
5.1    神经元模型
神经网络:是由具有适应性的简单单元组成的广泛并行互连的网络,它能够模拟生物神经系统对真实世界物体所作出的交互反应。
 
神经网络中最基本的成分是神经元模型,即上述定义中的“简单单元”。
把许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络。
 
 
5.2    感知机与多层网络
感知机(Perceptron)由两层神经元组成(输入层、输出层),输入层接收外界输入信号后传递给输出层,输出层是M-P神经元,亦称“阈值逻辑单元”(threshold logic unit)。
 
感知机能容易的实现逻辑与、或、非运算。
 
  
 
要解决非线性可分问题,需考虑使用多层功能神经元。如下图中这个简单的两层感知机就能解决异或问题。
 
多层前馈神经网络(multi-layer feedforward neural networks)
 每层神经元与下一层神经元完全互连,神经元之间不存在同层连接,也不存在跨层连接。
 
5.3    误差逆传播(error BackPropagation,简称BP)算法
 
 
BP算法的工作流程: 
 
累积误差逆传播(accumulated error backpropagation)算法
 
 
 
只需要一个包含足够多神经元的隐层,多层前馈网络就能以任意精度逼近任意复杂度的连续函数。
 
缓解BP网络过拟合的策略:
1. 早停(early stopping)
将数据分成训练集和验证集,训练集用来计算梯度、更新连接权和阈值,验证集用来估计误差,若训练集误差降低但验证集误差升高,则停止训练,同事返回具有最小验证集误差的连接权和阈值。
 
2. 正则化(regularization)
 

转载于:https://www.cnblogs.com/lyu0709/p/7235271.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值