qq_47896523的博客

一种面向对象分类的视觉Transformer，即ViT。该模型避免了卷积带来的归纳偏置，弥补了卷积神经网络在超长周期建模的不足。1、DeiT（data-efficient image transformer）采用了知识蒸馏策略（将大型模型的复杂知识（包括其中的泛化能力和细节知识）传递给小型模型，使得小型模型能够在有限的数据集上达到与大型模型相当的性能），使得视觉Transformer能够学习归纳偏差

自定义模型super(MyModel,self).__init__() #调用父类的构造函数！

把前L-1层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机。

为了使每个隐藏神经元都能接受每个输入像素的信息，我们将参数从权重矩阵替换为四阶权重张量平移不变性：检测对象在输入X中的平移，应该仅仅导致隐藏表示H中的平移。

随机梯度下降和线性回归的实现

PyTorch版深度学习中基本的数据操作和数据的预处理操作

线性逻辑回归与非线性逻辑回归

回归分析用来建立方程模拟两个或者多个变量之间如何关联一元线性回归包括一个自变量和一个因变量如果包含两个以上的自变量，则称为多元线性回归

使用构造方法对成员变量进行赋值。子类中，调用父类成员。

test(1, 2)

打开、读取、关闭文件

变量：在程序运行时，能存储计算结果或能表示值的抽象概念变量的命名规则1、内容限定（中文、英文、数字、下划线；不能以数字开头）2、大小写敏感3、不可使用关键字

list列表、tuple元组、集合、字符串、字典