Neural networks basic_basic neural networks-优快云博客

本文链接：https://blog.youkuaiyun.com/druidfly/article/details/103766361

本文探讨了深度学习中寻找使整体误差最小化的函数的方法，强调了backpropagation（反向传播）在复合函数求导中的高效性。通过使用平滑的sigmoid函数而非阶跃函数，确保了网络权重和偏置的微调能够产生输出变化。同时，介绍了使用均方误差（MSE）作为损失函数的原因，即它能提供更平滑的关系，从而有助于提高数字识别的精确度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://neuralnetworksanddeeplearning.com/chap1.html

https://www.cnblogs.com/LittleHann/p/6629069.html?utm_source=tuicool&utm_medium=referral

找到一个函数，使得对于整个数据集，整体误差最小。

引用

“
想到Eric Xing在课上说的一句话，"People in the deep learning community love to invent new words"，他想说的大概是GAN，但back propagation也一样。Back propagation的本质就是复合函数求导（following the chain rule），讲道理你可以对这个网络里的每一个参数分别求偏导，但何苦呢，因为计算过程中的很多项都是重复的，何不合理利用好？为了不重复运算把把后层算好的导数传回前层，因为前层一定用得到，就是这么一个道理。

”

“
sigmoid函数比阶跃函数更加的平滑，这种平滑性也就意味着权值和偏置的微调可以使得输出也产生微小的变化。
有人可能觉得引入一个MSE很是唐突。因为我们的目的是提升数字识别的精确度，那为什么不直接通过调整网络参数来提高精确度呢？原因是数字识别的准确度和网络参数之间并没有很平滑的函数关系，也就没法通过调整参数来较好的实现准确度的提高。反之，利用MSE就可以达到这一效果。

”