深度学习
关注
分享
扫一扫
文章平均质量分 79
冬虫夏草1993
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
深度学习 权重初始化为什么要用正态分布
一般来讲权重矩阵是K个N维向量。从直觉上来讲，如果这K个N维向量在N维空间中均匀分布在以原点为中心的N-1维单位超球面上，在随机性上应该是最好的。因为这样，这K个向量的夹角为均匀分布。此时问题变成了，如何在N-1维超球面上进行均匀采样。根据这篇论文A note on a method for generating points uniformly on n-dimensional sphere...原创 2019-06-12 16:47:47 · 6250 阅读 · 0 评论 -
xavier初始化的背后原理
一般来讲，要保持方差不变,线性变换是正交变换是最好的。如果是正交变换，则要求每个滤波向量的长度为1.可以证明以xavier初始化的方式，可以保证向量长度的期望为1....原创 2019-08-28 12:24:07 · 667 阅读 · 0 评论 -
关于resnet的直觉性解释
resnet为什么能够这么深，而性能不发生退化，确实是一件百思不得其解的现象。而最近我终于明白了里面的深层次的原因。根本原因是,不用残差的模型本质上是在将feature在空间中线性变换，然后进行裁剪，如此可将不同的feature映射为同一个值，发生了坍缩现象，本应不同类别的feature非线性变换为同一个feature值，从而造成信息丢失,造成欠拟合的现象。那么为什么resnet没有发生这种情...原创 2019-08-30 23:09:17 · 966 阅读 · 2 评论