UFLDL Tutorial 笔记

最新推荐文章于 2019-11-17 09:32:42 发布

原创最新推荐文章于 2019-11-17 09:32:42 发布 · 550 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #机器学习

machine learning 专栏收录该内容

69 篇文章

订阅专栏

本文探讨了神经网络中反向传播算法的数学基础及其重要性。通过复合函数求导解释了误差反向传播的过程，并介绍了如何使用软阈值函数（如tanh）来简化权重优化问题。此外，还讨论了单层与双层感知器的区别，以及它们在实现逻辑运算（如XOR）中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于反向传播误差的推导，可以参考下面这个博客，讲得更清楚。
其实一句话就可以讲清楚：多层复合函数的求导，足矣！
http://blog.sina.com.cn/s/blog_88d97475010164yn.html

另外，看了一下网易上加州理工Yaser Abu-Mostafa的机器学习与数据挖掘课程，第十讲神经网络讲得很好。首先从期望的角度对比了batch gradient descent&stochastic gradient descent（SGD）。然后从逻辑学角度阐述了单层感知器只能实现OR /AND （不能实现XOR），而双层感知器则可以实现XOR。
进而解释了双层感知器可以逼近任意的函数（课上用圆为例子，隐层神经元数目很多时相当于就有多个线性决策边界，综合各个决策边界就好比多边形逼近圆了）。最后过渡到神经网络，并说道为了避免复杂的权重优化问题（是一个组合优化问题），用软阀值函数（比如tanh）代替了硬阀值函数（正半轴+1，负半轴-1），从而可以对光滑的函数进行求导，并使用stochastic descent.
总的来说，感觉讲得比较深一些，而且逻辑很清晰，以后有机会要整个过一遍。