- 博客(9)
- 收藏
- 关注
RSS订阅原创 深度学习之门控循环单元(GRU)
GRU与普通的循环神经网络之间的关键区别在于： 前者支持隐状态的门控。这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。GRU能够在较长的时间跨度内保持信息，并有效捕捉长期依赖关系。GRU引入了门控机制（如更新门和重置门），这些机制帮助网络选择性地保留或者遗忘信息，使得梯度能够在长序列中保持稳定，从而解决了梯度消失和梯度爆炸问题。GRU是一种具有门控机制的循环神经网络结构，能够有效地捕捉序列数据中的长期依赖关系。它通过重置门和更新门的配合，使得网络能够决定何时记忆和何时遗忘信息。
2025-01-03 18:58:21
546
原创 深度学习之循环神经网络(RNN)基础总结
RNN可以通过“循环”结构使得网络可以在时间维度上传递信息，从而捕捉数据中的时间依赖性。基础RNN是同一个多层感知机对不同时序的输入进行处理，输出下次输出结果。网络结构如下图所示。上图中，左侧结构中：x代表不同时序的输入U、V、W代表不同的权重矩阵，在整个网络中，对于不同时序的输入，这三个权重矩阵是参数共享的。右侧结构中，表示了将不同时序的数据输入后，进行处理的过程：表示t时刻的输入表示t时刻的输出表示t时刻隐层的输出U、V、W代表不同的权重矩阵。
2025-01-03 13:00:31
316
原创 深度学习之各种成熟CNN网络总结及实现:LeNet、AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet
LeNet是一种卷积神经网络（CNN）结构，旨在解决手写数字识别问题，特别是用于 MNIST 数据集中的数字分类。LeNet 是最早的深度学习卷积神经网络之一，它奠定了卷积神经网络（CNN）在计算机视觉领域的基础，并对后来的神经网络发展产生了深远的影响。AlexNet 是一种较为深层的卷积神经网络，它不仅在深度和结构上比之前的 LeNet 等网络更复杂，而且使用了现代卷积神经网络中的一些关键技巧（如 ReLU 激活函数、GPU 加速、Dropout、数据增强等），为深度学习的快速发展奠定了基础。
2025-01-02 22:33:58
821
原创 深度学习之卷积神经网络(CNN)基础
例如：对于一个6×6×3的图片输入，分别使用两组卷积核共6个，每组3个二维卷积核，每个二维卷积核都只对某一通道的数据进行卷积操作，每个卷积核为3×3，步长s为1，不进行填充，最终得到的输出特征大小为4×4×2，如下图所示。例如：对于经过多次卷积和池化后的输出为5×5×8的数据，则全连接层将其转换为一个250维的特特征向量，然后再接一层120个神经元的隐藏层，这一层就成为全连接层。对于一个n×n的输入，使用f×f的卷积核进行卷积，步长为s，填充层数为p，则进行卷积操作后，得到的输出图像为,
2025-01-02 15:41:22
879
原创 深度学习之L2正则化（权重衰减）
其原理为通过在损失函数中加上权重的平方和，抑制权重的过大波动，小的权重值意味着模型其中的部分神经元的输出会较小，相当于使模型更简单、更具泛化性，能更好地在未见数据上表现避免模型对训练数据的过拟合。①控制过拟合：L2正则化通过对权重的平方和进行惩罚，促使模型学到较小的权重值，从而减小模型的复杂度。L2正则化是一种用于防止模型过拟合的正则化技术，通过在损失函数中添加正则化项，从而模型在优化的过程中会使模型的权重保持在较小的值，从而防止模型过拟合。是正则化强度的超参数，用于控制正则化项的权重。
2024-12-27 21:02:56
750
原创 深度学习之dropout
这样，每次训练时，网络的结构都会有所不同，减少了神经元之间的依赖关系，有助于模型学到更具泛化能力的特征。其基本思想是在每次训练过程中，随机“丢弃”网络中的一些神经元（即将它们的输出设为零），使得网络不会过度依赖某些特定的神经元，从而简化网络。②增强网络的鲁棒性:在训练时随机丢弃，所以每次都会使用不同的网络结构，使得模型对不同的输入和训练样本具有更好的适应性。在测试阶段，dropout 通常不进行应用，所有神经元都会使用，但会对输出进行缩放，以保持与训练阶段一致的期望值。
2024-12-27 17:22:56
267
原创 深度学习之softmax回归
例如：对于一张兔子的图片，对应的y为[0,0,1]，将它输入线性层后，线形层的输出也为一个三维的向量，代表图片为对应类别的概率，例如为[0.1,0.2,0.9]，但是线形层的输出值总和不一定为1，且有可能含有负数，因此我们需要将这个向量进行处理。它基于每个类别的预测得分（通常是通过线性模型得到的）计算出一个类别属于某个类的概率，并且所有类别的概率加和为 1。在训练时：如果某一张图片对应的标签是猫，则进行训练时，这张图片对应的y应该为[1,0,0],类似图片标签为狗时，训练时对应的y应该为[0,1,0]。
2024-12-25 18:23:02
323
原创 深度学习之线性回归
线性回归试图学习一个线性模型以尽可能的准确预测实值输出标记y。线性模型：给定由d个属性描述的示例。简单来说，线性回归是对n为输入的加权，外加偏差。其中w和b通过学习得到后，模型就确定。线性回归：给定数据集。线性回归可以看作是单层神经网络。二、线性回归的简单基础实现。
2024-12-25 17:18:45
240
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人