神经网络线性神经元

本文介绍了线性神经元作为解决简单问题的策略,对比了其与感知器的区别,并讨论了线性神经元在迭代过程中的梯度下降算法。尽管线性神经元可能无法达到全局最优解,但可以通过调整学习率逐步逼近。同时,文章指出线性神经元主要用于解决线性问题,对于非线性问题则需引入非线性神经元。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

线性神经元

1 提出背景:

感知器神经元是通过每次改变权重(weight),实现结果收敛。即使得currentweight 不断的接近generous feasible weight.但是这样的做法并不适合于复杂的神经网络,比如非凸函数的网络(两个好的解决方法的平均值并不是一个好的解决方法)。

为了解决这个问题,提出一种新的方法,用实际的输出结果不断接近指定的结果的过程取代当前权重不断接近最优权重的过程。

线性神经元就是最简单的一种方法。

2 求解过程:

线性神经元的求解过程是一个迭代的过程(iterated mode):

(1)   我们需要了解神经网络的具体的工作过程

(2)   迭代的求解方式可以便于扩展

3 目标:

最小化训练误差,即,为了之后求解的方便,误差定义为

4 迭代的过程:

 利用梯度下降的算法进行求解

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值