信息基础II | Homework 3

最新推荐文章于 2021-06-24 09:00:58 发布

skycity233

最新推荐文章于 2021-06-24 09:00:58 发布

阅读量207

点赞数

CC 4.0 BY-SA版权

分类专栏：信息基础

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/www110120119/article/details/84206549

信息基础专栏收录该内容

7 篇文章

订阅专栏

本文深入探讨了深度学习中的核心议题，包括LeNet-5中卷积核尺寸的影响，神经网络参数初始化的重要性，max函数的导数计算，以及深度网络求解方法的多样性。通过这些内容，读者将对深度学习的基础理论有更深入的理解。

目录

一、LeNet-5中卷积核3×3和5×5的对比

二、初始化参数是否能都为0？

三、max函数的导数是什么

四、求解深度网络，除了反向传播外的其他方法？

一、LeNet-5中卷积核3×3和5×5的对比

二、初始化参数是否能都为0？

知乎文章：为什么神经网络参数不能全部初始化为全0？

w初始化全为0，很可能直接导致模型失效，无法收敛。

因此可以对w初始化为随机值解决（在cnn中，w的随机化，也是为了使得同一层的多个filter，初始w不同，可以学到不同的特征，如果都是0或某个值，由于计算方式相同，可能达不到学习不同特征的目的）

三、max函数的导数是什么

导数的定义-维基百科

CNN中一些特殊环节的反向传播

$f'(x_0)=\lim_{\Delta x \to 0}\frac{\Delta y}{\Delta x}=\lim_{\Delta x \to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$

四、求解深度网络，除了反向传播外的其他方法？

浅谈神经网络训练方法

双向传播

正向传播

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。