深度学习
关注
分享
扫一扫
lueluewaaa
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
李宏毅教授Attention课程笔记总结
Generation可以用RNN生成文本、图片(grid lstm)、视频、手写字、语音*grid lstmConditional generation：不是随机产生，而是有情境地产生应用：image caption/machine translation/chat-botEncoder和Decoder的参数可以一样或者不一样，当参数一样时，参数比较少，比较不容...原创 2019-07-25 20:39:11 · 1575 阅读 · 1 评论 -
李宏毅教授神经网络基础架构课程笔记总结
Basic Structure预备知识：神经网络相当于由简单函数(neurons)组成的函数集Fully Connected LayerRecurrent Structure反复利用同一个结构相较于前馈网络，前馈网络的参数更多，会容易过拟合深层RNN双向RNNPyramidal RNN可以把seque...原创 2019-07-25 20:40:29 · 196 阅读 · 0 评论 -
李宏毅教授Batch Normalization课程笔记总结
Batch NormalizationFeature Scaling/Feature Normalization/Feature Standardization如果斜率差别大，那么不同方向上需要不同的learning rate，经过feature normalization后，error surface接近正圆形，使得训练更容易计算过程：在神经网...原创 2019-07-25 20:41:58 · 575 阅读 · 0 评论 -
李宏毅教授Capsule课程笔记总结
Capsule取代neuronneuron输出一个值，capsule输出一个向量neuron只能检测某一特定的模式，capsule可以检测一类模式其中向量v的每一维代表模式的一个特性Squash相当于进行挤压，只会改变长度而不会改变方向c1 和c2 不是学出来的，而是由测试阶段决定的有点像排除离群点训练的时候还是需要后向传播NN是用...原创 2019-07-25 20:47:39 · 533 阅读 · 1 评论 -
李宏毅教授GAN课程笔记总结
GAN参考文献：受限玻尔兹曼机也是生成模型自编码机：所学得的NN Decoder可以将一个任意生成的向量生成为一张图片VAE(Variational Auto-Encoder)变分自编码器：为了不使σ 为0，因此加入限制：目的是为了使得m越接近0越好，相当于L2的正则化，而前一项也越接近0越好缺点：没有真正去模拟一张图片，无法达到和...原创 2019-07-25 20:51:34 · 860 阅读 · 0 评论 -
李宏毅教授Imitation Learning课程笔记总结
Imitation Learning又称demonstration/apprenticeship learning用于解决没有reward的情况下的学习情况多数情况下agent可以和环境进行互动，但无法从环境中得到明确的reward，或者无法决定如何确定rewardBehavior cloning和监督学习类似，通过直接学习一个使得si映射到ai的神经网络来实现...原创 2019-07-25 20:58:19 · 333 阅读 · 0 评论 -
李宏毅教授调参课程笔记总结
Hyperparameters Tuning效果好的几组参数可能效果差别不大Model-based Hyperparameter Optimization根据采样数据构建一个回归模型 寻找一个置信度大且准确率高的点，但同时需要进行一定程度的探索很大程度决定于回归模型的好坏可以将回归模型改为RNN，输出即为CNN的架构，再用CNN的accuracy作为回...原创 2019-07-27 13:20:12 · 190 阅读 · 0 评论 -
常见的最优化方式
原文讲解很棒，推荐！https://www.cnblogs.com/shixiangwan/p/7532830.html转载 2019-08-18 10:52:17 · 154 阅读 · 0 评论