机器学习(西瓜书)学习笔记5——神经网络

本文介绍了神经网络的基本概念,包括神经元模型、感知机的工作原理及限制、多层神经网络的必要性,以及误差逆传播算法(BP算法)在训练多层神经网络中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、神经元模型

1.神经网络的定义:神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体作出交互反应。

2.神经元:神经网络中最基本的成分是神经元模型。某一神经元的点位超过某一“阈值”,它会被激活,变为“兴奋”状态,向其他神经元发送化学物质。

图中x1,x2...xi,xn为来自第i个神经元的输入,wi 表示第i个神经元的的权值,θ表示当前神经元的阈值,y表示输出。

       在这个模型中,神经元接受来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接受到的总输入值将与神经元的阈值进行比较,然后通过激活函数产生神经元的输出。

激活函数如下图所示:

sigmoid激活函数连续、光滑、可导。将输入值都挤压到(0,1)之间。

3.感知机

感知机的详细知识在我的博客有详细说明。

        感知机由两层神经元构成,但是只有输出层神经元进行激活函数处理,即只拥有一层功能神经元。它可以实现逻辑与、或、非运算,但是感知机不能解决非线性问题。要解决非线性问题,需要考虑使用多层功能神经元。简单的两层感知机就能解决异或问题。输出层和输入层中间的一层神经元,称为隐层或隐含层。隐含层和输出层神经元都是含有激活函数的功能神经元。

神经网络的学习过程,就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。

4.误差逆传播算法

        多层网络的学习能力比单层感知机更为强大,训练多层网络,简单的感知机学习规则不能够执行这项操作,就需要更为强大的学习算法。误差逆传播(error BackPropagation,BP)算法是其中最杰出的代表。BP算法不仅可以用于多层前馈神经网络,还可用于其他类型的神经网络。

       

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值