Gowi的博客

神经网络优化算法文章目录神经网络优化算法梯度下降算法批量梯度下降法随机梯度下降法小批量随机梯度下降法动量法NAGAdaGradRMSPropADADELTAADAMNADAM梯度下降算法以f(x)=12x2f(x)=\frac12x^2f(x)=21​x2为例展示了梯度下降法中梯度下降的实际情况，图中的箭头表示梯度下降的方向。可以将xxx往 导数的反方向移动一小步来减小f(x)f( x)f(x)即取x′=x−ϵf′(x)x^{\prime}=x-\epsilon f^{\prime}(x)x′=x−ϵ

由于样本不同特征的量纲或量纲单位不同，变化区间也处于不同数量级， 使用原始样本训练机器学习或深度学习模型，不同特征对模型的影响会不同，这也导致训练所得的模型缺乏鲁棒性。归一化（Normalization）是一种常见的数据预处理方法，它将数据映射成 [0, 1]或者[-1, 1]之间的小数，是的模型更容易收敛到最优解。因此，在构造机器学习或深度学习模型之前，需要将数据做归一化处理， 这不仅会加快求解的速度，还有可能提高模型的精度。

在原始 GAN和CGAN中，还只能生成 16*16, 28*28, 32*32 这种低像素小尺寸的图片。而LAPGAN首次实现 64*64 的图像生成。与其一下子生成这么大的图像 （包含信息量这么多），不如一步步由小到大，这样每一步生成的时候，可以基于上一步的结果，而且还只需要“填充”和“补全”新图片所需要的那些信息。

于是Layer l+1的第2个窗口（从1开始计算）综合了layer l的第1个和第2个窗口的信息，Layer l+1的第5个窗口（从1开始计算）综合了layer l的所有窗口的信息，所以可以综合获得全局信息。从阶段2开始，之后的每一阶段都是一个像素块合并层和Swin Transforme块，其中像素块合并层类似于卷积神经网络中的池化层，经过像素块合并层之后，数据的宽和高为原先的1/2，通道数为原先的2倍。Swin-T将特征图划分为多个窗口，然后对每一个窗口进行自注意力的计算，这可以有效的的减少计算量。

为了将Transformer引入视觉任务，Google团队开发出了Vision Transformer (ViT)，其中ViT模型以及变种在图像分类任务上一骑绝尘。

在模型实现上，GPT-2仍然使用Transformer作为主干模型，与GPT-1的整体架构类似，只进行了少量修改，包括层归一化被移到每个块的输入部分， 起到类似预激活的作用，在最终的自注意力块之后又增加了额外的层归一化，同时Transformer的Decoder层数从GPT-1的12层增加到了24层、36 层和48层。在开发GPT-3的过程中，研究人员发现，模型增大之后，引入一些质量较差的数据带来的负面影响变小了，因此与GPT-1和GPT-2相比，GPT-3开始使用Common Crawl数据集进行训练。

吴恩达机器学习第八章【Neural Networks: Representation】文章目录吴恩达机器学习第八章【Neural Networks: Representation】Non-linear Hypotheses【非线性假设】Neurons and the Brain【神经元和大脑】Model Representation I【模型表示1】Model Representation II...

几种常见的卷积神经网络结构文章目录几种常见的卷积神经网络结构卷积神经网络的基本组成部分常见的神经网络结构走向深度：VGGNet改进神经网络结构代码实现从横交错：Inception（GoogLeNet）改进神经网络结构代码实现里程碑：ResNet改进神经网络结构代码实现继往开来：DenseNet改进神经网络结构代码实现特征金字塔：FPN改进神经网络结构代码实现为检测而生：DetNet改进神经网络结构代码实现卷积神经网络的基本组成部分常见的神经网络结构走向深度：VGGNet2014年的Image

神经网络–反向传播算法推导文章目录神经网络--反向传播算法推导概述神经网络模型反向传导算法概述以监督学习为例，假设我们有训练样本集(x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i))，那么神经网络算法能提供一种复杂且非线性的假设模型h(W,b)(x)h_{(W,b)}(x)h(W,b)​(x),它具有参数WWW，bbb，可以以此参数来拟合我们的数据。为了描述神经网...

使 PE 能够适应比训练集里面所有句子更长的句子，假设训练集里面最长的句子是有 20 个单词，突然来了一个长度为 21 的句子，则使用公式计算的方法可以计算出第 21 位的 Embedding。接受来自上一层Add&Norm的输入并计算Q矩阵然后根据 Encoder 的输出计算得到 K, V，后续的计算与之前的一致。空间中，然后根据缩放点积进行打分，最后使用softmax的到概率，最后与value相乘的到输出结果。然后将多头注意力的结果输入到Add&Norm层中，其中这部分采用残差连接的方式构成。

自上而下的有意识的注意力，称为聚焦式注意力（Focus Attention）． 聚焦式注意力也常称为选择性注意力聚焦式注意力是指有预定目的、依赖任务的，主动有意识地聚焦于某一对象的注意力自下而上的无意识的注意力，称为基于显著性的注意力（Saliency Based Attention）．基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关．。

对象定位localization和目标检测detection判断图像中的对象是不是汽车–Image classification 图像分类不仅要判断图片中的物体还要在图片中标记出它的位置–Classification with localization定位分类当图片中有 多个 对象时，检测出它们并确定出其位置,其相对于图像分类和定位分类来说强调一张图片中有 多个 对象–Detection目标检测对于训练集样本，X使用经过裁剪的，检测目标基本在图像中心的图片。Y表示样本图片中是否有需要

从VGG看CNN文章目录从VGG看CNNVGG的成功之处VGG的结构特点VGG-11代码VGG的成功之处VGG与AlexNet相比，VGG采用小的卷积核和池化层，层数更深，通道数更多，其中每个通道代表着一个FeatureMap，更多的通道数表示更丰富的图像特征。VGG网络第一层的通道数为64，后面每层都进行了翻倍，最多到512个通道，通道数的增加，使得更多的信息可以被提取出来。对于给定的感...

从Lenet-5看CNN文章目录从Lenet-5看CNN卷积卷积神经网络的结构输入层卷积层局部感知野权值共享池化层Lenet-5卷积神经网络关于感受野的计算什么是感受野感受野的计算感受野中心感受野小结关于卷积神经网络的部分代码二维卷积多输入通道多输出通道1x1卷积层最大池化层和ping填充和步幅Lenet-5卷积首先我们用一个3×33 \times 33×3的核对一个6×66 \times ...

从AlexNet看CNN文章目录从AlexNet看CNNAlexNet的成功之处激活函数ReLUDropout数据扩充LRN局部响应归一化AlexNet的结构第一层（卷积层）第二层（卷积层）第三层（卷积层）第四层（卷积层）第五层（卷积层）第六层（全连接层）第七层（全连接层）第八层（全连接层）实现代码AlexNet的成功之处AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很...

深度学习对数据集的预处理因为在使用神经网络的时候常常采用的图片数据集，常常是一个尺寸相同的，但是我们下载来的数据集往往尺寸不一定相同。所以我们应该转化为相同尺寸的数据集。笔者首先考虑过用cv2.resize()把图片变为等尺寸的，在同torch.form_numpy()转化成tensor来出来，但是resize改变了图片等的比例，所以在神经网络中的拟合出的结果可能不是我们所希望的。所以我们采用...

#!/usr/bin/env python# coding: utf-8# In[1]:import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow import keras as keras# In[2]:fashion_mnist=keras.data...

利用深度神经网络进行基本图像分类此代码在colab已经经过测试并且可以查看TensorBoard：地址环境：Tensorflow-2.1.0、Python3.6、google colabIn[1]:import sslssl._create_default_https_context = ssl._create_unverified_context# 不知道为什么在本地的jupyter...