CNN RNN 杂想

最新推荐文章于 2024-02-28 15:35:25 发布

原创最新推荐文章于 2024-02-28 15:35:25 发布 · 720 阅读

0 ·

CC 4.0 BY-SA版权

┾算法┾ 专栏收录该内容

40 篇文章

订阅专栏

本文深入探讨了深度学习中的一些核心概念，包括卷积神经网络（CNN）、长短期记忆网络（LSTM）、循环神经网络（RNN）及其应用，如视频处理等。此外，还介绍了softmax函数的工作原理及其与logistics的关系。

                    
                    CNN，卷积，其实就是映射，这个空间，映射到另一个空间。然而，卷积的移动，这个很有趣。就像是我们所处的时间，其实是有时间这个维度的，但是我们感受不到。但是这个卷积的移动，就把时间的这个维度，也映射到了另一个空间！
Batch取全部时，看到的是只有一个曲面，速度快，但不是最优。所以，有小一点的batch，随机性。但是，只取一个的时候，SGD，随机性有时会很大，难以收敛
CNN，多少个output channel，对于每个input channel，就有多少个卷积核。不同input channel的卷积核是不一样的
RNN，做encode decode，以翻译的为例子，可以这么理解，encode，接受的是原始的文本的时序，一套W1；decode，输出的是翻译的文本，一套W3；这两个中间，会有一套encode到decode的转换，一套W2
CNN + LSTM，视频处理，每一帧用CNN，抽取出来特征，作为LSTM的输入
Softmax，一个三分类；logistics，三个二分类；即Softmax时权重会相互影响。而且，其实logistics是Softmax的一个特例，化简下差不多。为何什么取e？貌似跟高斯有关，假设正负样本都是高斯分布，极大似然？