BP（Back Propagation）神经网络

AI-CTY

于 2020-03-22 13:53:57 发布

阅读量369

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习 Pytorch

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_40334856/article/details/103612713

本文深入探讨了BP（反向传播）神经网络的基础，首先讲解了导数的概念，包括一元函数、偏导数和方向导数的定义及其几何意义。接着介绍了梯度作为最大方向导数的矢量表示，阐述了梯度与方向导数的关系。最后，这些数学原理如何应用于神经网络中的BP算法进行了简要介绍。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、导数

1、导数的公式及几何意义
（1）
在这里插入图片描述
（2）几何意义为当函数定义域和取值都在实数域中的时候，导数还可以表示函数曲线上的切线斜率。同时还表示在该点的变化率。

（3）在一元函数中只有一个自变量的变动，表示只存在一个方向的变化率，此时一元函数没有偏导数

2、偏导数
（1）若为偏导数则必须涉及两个或者以上的向量，此文以两个自变量为例，z = f(x,y)，此时则不再曲线，而表示的是曲面。曲线中我们的切线则只有一条，但是在曲面中某一点则有无数条切线。
（2）偏导数表示多元函数沿着坐标轴的变化率

$f_x=(x,y)$ 表示函数在y的方向不变，函数值沿着x轴方向的变化率
$f_y=(x,y)$ 表示函数在x的方向不变，函数值沿着y轴方向的变化率

在这里插入图片描述

（3）偏导数对应的几何意义：

偏导数 $f_x(x_0,y_0)$ 表示的是曲平面被平面y= $y_0$ 所截得得曲面在点 $M_0$ 处的切线 $M_0T_x$ 对x轴的斜率
偏导数 $f_y(x_0,y_0)$

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。