qq_43647582的博客

Transformer学习

概率论与数理统计基础之概率和似然

【代码】【无标题】

由于4060显卡出现RuntimeError: nvrtc: error: invalid value for --gpu-architecture (-arch)错误，重新配置了，更改了torch 版本)原因，可能是因为显卡问题，4060 用 Pytoch1.8.0 +cu111 出现问题，改使用了 Pytorch1.13.1+cu117 未报错。第二步：找到.bashrc 文件，可能被隐藏了，到所在目标输入 ls -all 会显示。定位.bashrc 位置 locate .bashrc。

Python基础知识之集合与字典

LeNet导入包保持形状一致LeNet模型查看网络结构批量加载数据GPU上计算Acc定义训练函数初始化参数，训练导入包import torchfrom torch import nnfrom d2l import torch as d2l #李沐-动手深度学习课程中的一些程序打包的库from matplotlib import pyplot as plt保持形状一致class Reshape(torch.nn.Module): def forward(self, x):

AlexNet模型查看模型结构加载数据初始化参数，训练import torchfrom torch import nnfrom d2l import torch as d2limport matplotlib.pyplot as plt模型net = nn.Sequential( # 使用一个11*11的更大窗口来捕捉对象。 # 同时，步幅为4，以减少输出的高度和宽度。 # 另外，输出通道的数目远大于LeNet nn.Conv2d(1, 96, kernel_s

目录加载和保存张量加载和保存模型参数加载和保存张量对于单个张量，可以直接调用load和save函数分别读写它们import torchfrom torch import nnfrom torch.nn import functional as Fx = torch.arange(4)torch.save(x, 'x-file') #保存张量x2 = torch.load('x-file') #加载张量x2存储一个张量列表，然后把它们读回内存y = torch.zeros(4)

权重衰退权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为 𝐿2 正则化。一种简单的方法是通过线性函数f(x)=w⊤xf(\mathbf{x}) = \mathbf{w}^\top \mathbf{x}f(x)=w⊤x中的权重向量的某个范数来度量其复杂性，例如∥w∥2\| \mathbf{w} \|^2∥w∥2。要保证权重向量比较小，最常用方法是将其范数作为惩罚项加到最小化损失的问题中。将原来的训练目标最小化训练标签上的预测损失，调整为最小化预测损失和惩罚项之和。现在

过拟合、欠拟合import mathimport numpy as npimport torchfrom torch import nnfrom d2l import torch as d2l使用3阶多项式生成训练集和测试数据标签y=5+1.2x−3.4x22!+5.6x33!+εwhereε∈N(0,0.12) y = 5 + 1.2x - 3.4 \frac{x^2}{2!} + 5.6\frac{x^3}{3!} + \varepsilon \quad where \quad \var

多层感知机感知机多层感知机感知机给定输入x，权重w, 和偏移b, 感知机输出：o=σ(⟨w,x⟩+b)σ={1ifx>00otherwiseo=\sigma(\langle w,x\rangle+b)\quad \sigma= \left\{\begin{aligned}&1 \qquad if\quad x >0 \\&0 \qquad otherwise\end{aligned}\right.o=σ(⟨w,x⟩+b)σ={​1ifx>00otherwise​

softmax实现方式方式1--自构造获取图像分类数据集Fashion-MNIST可视化数据集初始化模型参数定义softmax操作定义模型定义交叉熵损失函数计算分类精度训练预测方式2--调用torch.nn实现方式1–自构造获取图像分类数据集Fashion-MNIST%matplotlib inlineimport torchimport torchvisionfrom torch.utils import datafrom torchvision import transformsfro

线性回归-pytorch方式1-自构造根据带有噪声的线性模型构造一个人造数据集，我们使用线性模型参数w =[2,-3.4].T、b=4.2和噪声向e生成数据集及其标签：y = Xw+b+ed2l库 可换成matplotlib库定义一个data_iter函数，该函数接收批量大小，特征矩阵和标签向量作为输入，生成大小为batch_size的小批量定义初始化模型参数定义模型定义损失函数定义优化算法训练方式2-调torch.nn构造数据迭代器回归网络 （回归相当于单层全连接网络）MSE损失实例化SGD方式1-自

目录线性回归：回归的评价指标：多项式回归方法:欠拟合、过拟合示例:过拟合抑制:正则化方法:早停法:随机失活:向量相关性：协方差：相关系数与相关距离：岭回归算法:局部加权线性回归:K近邻法:与分簇、分类和标注任务不同，回归（Regression）任务预测的不是有限的离散的标签值，而是连续的值。回归任务的目标是通过对训练样本的学习，得到从样本特征集到连续值之间的映射。如天气预测任务中，预测天气是冷还是热是分类问题，而预测精确的温度值则是回归问题.

聚类算法是对代表事物的实例的集合进行分簇的算法。聚类属于无监督学习。K均值聚类算法：基本思想：设样本总数为m，样本集为S={x_1,x_2,…,x_m}。K均值聚类算法对样本集分簇的个数是事先指定的，即k。设分簇集合表示为C={C_1,C_2,…,C_k}，其中每个簇都是样本的集合。 K均值聚类算法的基本思想是让每个样本点到本簇中心的距离更近一些。 使每个样本点到本簇中心的距离的平方和尽量小就是k-means算法的优化目标。 每个样本点到本簇中心的距离的平方和也称为误差平方和（SSE），在优化算