tm_opera_o-优快云博客

原创 OUC暑期培训（深度学习）——第六周学习记录：Vision Transformer &amp； Swin Transformer

Transformer最初提出是针对NLP领域的，尝试将Transformer模型应用到CV领域，展现了相当不错的效果。下图是Vision Transformer的原型框架：主要由三部分组成：（1）Linear Projection of Flattened Patches(Embedding层)（2）Transformer Encoder(图右侧有给出更加详细的结构)（3）MLP Head（最终用于分类的层结构）

2022-08-19 11:59:27 566

原创 OUC暑期培训（深度学习）——第五周学习记录：ShuffleNet & EfficientNet & 迁移学习

ShuffleNet和MobileNet一样想，应用于移动端，其主要有两个亮点，一个是提出了Channel Shuffle的思想，另一个是使用的全是GConv（分组卷积）和DWConv。在这部分代码中，对输入的5个图片利用VGG模型进行预测，同时，使用softmax对结果进行处理，随后展示了识别结果。在我们进行一次组卷积之前，我们先对每一个组内的特征图进行划分，划分数等于分组数，然后再以此重新组合，即完成了以此Channel Shuffle。这里的碎片化可以理解成分支，可以是并联也可以是串联，如下所示。..

2022-08-11 11:57:59 589 1

原创 OUC暑期培训（深度学习）——第四周学习记录：MobileNetV1，V2，V3

MobileNet于2017年由Google团队提出，为轻量级卷积神经网络，在稍微降低准确率的前提下，大大降低模型参数相比于传统卷积，DW卷积每个卷积核负责一个channel，故输出特征矩阵和输入特征矩阵的channel相同。（分组卷积的思想，但是这样每个channel之间的关系就学习不到了，因此又用PW卷积）深度可分的卷积操作由两部分组成，一部分即为DW卷积，另一部分为PW（Pointwise）卷积PW卷积就是普通的卷积，只是卷积核大小为1。设卷积核大小为，输入图像大小为，输出为。...

2022-08-03 20:00:32 819

原创 OUC暑期培训（深度学习）——第三周学习记录：ResNet+ResNeXt

①超深的网络结构（有突破1000层的网络）解决了简单卷积层、池化层堆叠带来的梯度消失（假设每一层的误差梯度是小于1的数，在BP过程中，每向前传播一次，都要乘小于一的误差梯度，随着网络深度增加，越趋近于0）和梯度爆炸（相反假设每一层的误差梯度是大于1的数，在BP过程中，每向前传播一次，都要乘大于一的误差梯度，随着网络深度增加，梯度越来越大）现象（通常通过对数据进行标准化处理、权重初始化以及batchnormalization解决）以及退化问题②提出残差（residual）模块。......

2022-07-27 19:26:14 586 1

原创 OUC暑期培训（深度学习）——第二周学习记录：卷积神经网络基础

卷积神经网络无处不在可用于分类、检索、检测、分割具体举例人脸识别（分类、检测等）、图像生成（GAN）、图像风格转换、自动驾驶（分类、分割等结合）

2022-07-20 17:41:10 901 1

原创 OUC暑期培训（深度学习）——第一周学习记录：深度学习和pytorch基础

目录第一周学习：深度学习和pytorch基础Part 1：视频学习：1. 绪论：2. 深度学习概述：Part 2：代码练习：1. pytorch基础练习：2. 螺旋数据分类：Part3 遇到的问题1.1 人工智能人工智能：使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统人工智能的三个层面：计算智能（快速计算、记忆存储；代表：深蓝：暴力穷举）、感知智能（模仿听觉、视觉、触觉等人的感知能力，目前人工智能阶段）、认知智能（逻辑推理、知识理解、决策思考）人工智能（领域、目标）>机器学习（实现目标的一类

2022-07-13 17:06:57 864

tm_operao的博客