Datawhale 西瓜书第五章

本文介绍了神经网络的基本组成部分,包括神经元模型、激活函数如sigmoid和tanh等,并详细讲解了感知机的工作原理及其如何进行权重调整。此外,还探讨了误差传播算法在神经网络训练过程中的作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、神经元模型

      神经网络模型是近年来最火的机器学习算法,不仅在CV、NLP、语音处理等领域应用较多,在社会科学、管理科学、机器人等多学科交叉领域有广泛的应用。神经网络模型最基本的模型是多层感知机模型,该模型在上个世纪八九是年代就已经出现,但是由于当时计算机处理能力有限,在机器学习方面应用有限。

    神经网络中最基本的模型是神经元(neuron)模型,神经元接收来自N个其他神经元的信号,通过带权重的连接进行传递。神经元接收的输入与神经元阈值进行比较,通过激活函数进行输出。

       激活函数是神经元的重要的组成,常见的激活函数有sigmoid函数,tanh函数等。

2、感知机与多层网络

        感知机由两层神经元组成,输入层和输出层,没有中间层。也成为M-P神经元。感知机可以实现与、或、非逻辑运算。

        对于给定训练集,和权重w_i 和阈值\theta,感知机权重调整方式为:

                                                               w_i\leftarrow w_i+\Delta w_i

\Delta w_i=\eta (y-\hat{y})x_i

      \eta为学习率。

3、误差传播算法

       误差传播算法是神经网络模型的核心与关键,基本思路是模型的Loss通过反向传播,对权重w_i进行调整,实现模型的训练。

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值