本文深入探讨了深度学习中的关键架构，包括自动编码器、RNN、LSTM和CNN。RBM作为自动编码器在人脸识别中发挥作用，而RNN面临梯度消失和爆炸的问题，LSTM通过其门控机制解决了这一问题。CNN在图像处理领域表现出色，广泛应用于图像生成、超分辨率和修复等任务。同时，介绍了GANs的目标和应用场景，如文本到图像生成。最后，讨论了当前CNN设计的趋势和存在的挑战。
Two questions:
从学习层面，到底学到了什么？
从结构层面，为什么某些结构的效果会更好？层数、过滤器数、池化、非线性层选择的对最终效果的影响。
Chapter 2 :
present the mostsuccessfun architectures
Chapter 3:
each one of the building blocks of typical CNN
discuss thedesign of the different components from both biology and theoretical perspectives
Chapter 4:
describe the current trends in CNN design and outstanding shortcoming that remain
1 .
RBM（受限玻尔兹曼机）
依靠RBM的神经网络被用作一种自动编码器，第一次被成功用于人脸识别应用上的降维处理。
自动编码器：编码器将输入转变为特征向量，解码器再将特征向量映射回输入空间。通过最小化输入与重构版本之间的重构误差来学习自动编码器的参数。
2 . RNN
缺点：
梯度消失或者梯度爆炸：因为累加梯度（权值共享）的原因，如果权值很小则会发生梯度消失，如果权值很大则会发生梯度爆炸。
训练长序列数据能力有限
3 . LSTM:
缓解了梯度消失和梯度爆炸
由三个门和一个记忆模块控制：
input gate：由当前输入和前一状态控制
激活函数一般为sigmoid
forget gate: 同样由当前输入和前一状态控制，但使用的是另一套参数
output gate:
memory cell state:
4. CNN
5.GANnets
目标：生成器的输出在识别器里得到50%的真数据和假数据标签
5.1 成功应用：
文本生成图像(text to image synthesis)
超分辨图像生成(image super resolution)
图像修补（image inpainting）
纹理合成（texture synthesis）
扫一扫
967
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
