多层神经网络

何一锅

于 2025-03-05 21:04:13 发布

阅读量198

点赞数 10

文章标签：神经网络深度学习机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_63709994/article/details/145965113

版权

神经元与矩阵 r = b + W * x

激活函数的位置

$r_{1} = sigmoid(b_{1}+w_{11}x_{1}+w_{11}x_{1})$

激活函数和非线性因素

1、引入激活函数（非线性），给神经元引入非线性元素，使得神经元网络可以逼近任何非线性和函数。

2、常见激活函数

sigmoid : $S(x)=\frac{1}{1+e^{-x}}$ , relu :f(x) = max(0,x)

3、激活函数的特性：能求导

4、模型整体结构

$y=b+\sum_{i}c_{i}sigmoid(b_{i}+\sum_{j}w_{ij}x_{j})$

神经网络的参数（可训练，用θ表示）

$\check{y}=b+c^{T}\sigma (b+Wx)$ $W,b,c^{T}$ 为参数

$f(x)=y$

前向过程：求 $\check{y}$
梯度回传过程：求每个参数的导数 $\check{y}=\sigma (wx+b)$ $\check{y}= \sigma (r)$ $r=wx+b$ 链式求导： $\frac{\partial L}{\partial w}=\frac{\partial L}{\partial r}*\frac{\partial r}{\partial w}$
更新参数：梯度下降（Gradient Descent)，某点下降最快的方向

神经网络（Nerual Network)-> 深度学习（Deep Learning)

Linear(4,3)->Linear(3,2)->Linear(2,1)

layer1 = nn.Linear(4, 3)
layer2 = nn.Linear(3, 2)
layer3 = nn.Linear(2, 1)

优化拟合：1、加深模型深度 2、使用激活函数

过拟合（overfitting)与欠拟合（underfitting)

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。