qq_29423387的博客

GPT笔记

卷积神经网络

Vit论文复盘

1、异或问题是每个讨论多层神经网络的人都会谈论的话题，问题的本身就是解决一个线性可分的问题。对应到几何的二维问题就是用一条直线划分两个分类的问题。对于简单二维分类问题如果一个数字z代表分类，那么将这个过程写成公式：Z=f(x,y)问题就转化为求解二维函数f(x,y)使其最接近给定的数据点。形象化的解释如下图：红蓝两色代表互不相同的两个类，如果以z=0.5作为分解线将其作为两类，问题划分。就很简单了，只需将xy写成如下的形式：z=0.5x+0.5y+0写成矩阵的形式：最终绘制成图：很明显

1、Anaconda的安装（自行参考其他博客）2、使用pip安装pytorch打开anaconda prompt创建一个pytorch的环境conda create -n pytorch_gpu python=3.7pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113安装COUD11(可以查看自己显卡的种类去pytorch官网上指定下载)、测试imp

note:作者是用两个GPU来计算，所以把神经网络分为上下两个层次输入是2242243 输出的话变化成4096维的特征集有五个卷积层负责提取特征，每个卷积层之间均存在一个核函数符合计算最后通过全连接层实现特征维度的拼接...

迁移学习1、迁移学习1.1、迁移学习目的能在一个任务上学习一个模型，然后用其来解决相关的别的任务，这样我们在一个地方花的时间，学习的一些知识，研究的一些看法可以在另外一个地方被使用到；迁移学习是在深度学习出圈的，因为在深度学习中需要训练很多的深层神经网络，需要很多的数据，代价也很高；1.2、迁移学习的途径a.做好一个模型将其做成一个特征提取的模块（Word2Vec【在文本上做训练一个单层神经网络，在训练好之后，每一个词对应一个特征，然后用这个特征去别的事情】，ResNet【对图片做特

正向传播（forward-propagation）：指对神经网络沿着输入层到输出层的顺序，依次计算并存储模型的中间变量。反向传播（back-propagation）：沿着从输出层到输入层的顺序，依据链式法则，依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。反向传播是一种计算神经网络参数梯度的方法在训练深度学习模型的时候，正向传播和反向传播相互依赖其一：正向传播的计算依赖于模型参数的当前值，这些模型参数是在反向传播梯度计算后通过优化算法迭代的其二：反向传播的梯度计算可能依赖于各变量的

Deep Residual Learning for Image Recognition（ResNet）用于图像识别的深度残差学习摘要由于越深的神经网络训练起来越来困难，所以本文提出了一种残差学习框架，用于简化网络层次比较深的模型。这个ResNet框架使得网络层次可能根据输入来学习残差函数而非原始函数（unreferenced functions），本文已经证明，这些残差网络的优化更加简单，并且可以是的更深的层来获得更高的准确率，这些残差组合模型在ImageNet测试集上的错误率仅3.57%，这个结果

1、什么是迁移学习能在一个任务上学习一个模型，然后用其来解决相关的别的任务。迁移学习的途径a.做好一个模型将其做成一个特征提取的模块Word2Vec-在文本上做训练一个单层神经网络，在训练好之后，每一个词对应一个特征，然后用这个特征去别的事情；ResNet-对图片做特征，然后用这个特征来对作为另一个模型的输入，这样假设效果非常好，那么就可以代替人工去抽取特征；I3D-用来对视频做特征b、在一个相关的任务上训练一个模型，然后在另一个任务上直接用它c、训练好一个模型，然后在一个新的任务上对其做