深度学习的最新研究进展（二）

最新推荐文章于 2025-06-25 20:00:00 发布

hajk2017

最新推荐文章于 2025-06-25 20:00:00 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：人工智能智能风控反欺诈大数据决策引擎文章标签：人工智能机器学习深度学习

本文链接：https://blog.youkuaiyun.com/hajk2017/article/details/82771268

本文探讨了深度学习的最新研究进展，包括深度自编码器、深度卷积神经网络、网络中的网络（NIN）、基于区域的卷积神经网络（R-CNN）、残差网络（ResNet）、胶囊网络（CapsNet）、循环神经网络（RNN）、长短期记忆网络（LSTM）、谷歌神经机器翻译（GNMT）等，展示了各种创新架构如何推动深度学习的发展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

神经网络的功能与人脑相似，它们主要由神经元和连接组成。当我们说深度神经网络时，我们可以假设有相当多的隐藏层，可以用来从输入中提取特征和计算复杂的函数。Bengio（2009）解释了深度结构的神经网络，如卷积神经网络（CNN）、自编码器（AE）及其变体等。Deng和Yu（2014）详细介绍了一些神经网络架构，如AE及其变体。Goodfellow等（2016）对深度前馈网络、卷积网络、递归网络及其改进形式进行了介绍和技巧性讲解。Schmidhuber（2014）提到了神经网络从早期神经网络到最近技术的完整历史。

深度自编码器

自编码器（AE）是神经网络（NN），其中输出即输入。AE采用原始输入，编码为压缩表示，然后解码以重建输入。在深度AE中，低隐藏层用于编码，高隐藏层用于解码，误差反向传播用于训练。

深度卷积神经网络

四种基本思想构成了卷积神经网络（CNN），即局部连接、共享权重、池化和多层使用。CNN的第一部分由卷积层和池化层组成，后一部分主要是全连接层。卷积层检测特征的局部连接，池层将相似的特征合。CNN在卷积层中使用卷积而不是矩阵乘法。

网络中的网络

Lin等（2013）提出了网络中的网络（Network In Network，NIN）。NIN以具有复杂结构的微神经网络代替传统卷积神经网络（CNN）的卷积层。它使用多层感知器（MLPConv）处理微神经网络和全局平均池化层，而不是全连接层。深度NIN架构可以由NIN结构的多重叠加组成。

基于区域的卷积神经网络

Girshick等（2014）提出了基于区域的卷积神经网络（R-CNN），使用区域进行识别。R-CNN使用区域来定位和分割目标。该架构由三个模块组成：定义了候选区域的集合的类别独立区域建议，从区域