juluwangriyue的博客

pytorch代码笔记，计划写加载图像到模型训练整个过程。

chatgpt原理与应用

yolov8测试

虽然这个模型可能没有很准确地反映出后续词的语义， 比如，“It is raining in San Francisco”（旧金山下雨了） 和“It is raining in winter”（冬天下雨了） 可能才是更完美的合理扩展， 但该模型已经能够捕捉到跟在后面的是哪类单词。我们可以通过计算序列的似然概率来度量模型的质量。如上所述，隐藏层是在从输入到输出的路径上（以观测角度来理解）的隐藏的层， 而隐状态则是在给定步骤所做的任何事情（以技术角度来定义）的输入， 并且这些状态只能通过先前时间步的数据来计算。

同样，在文档摘要生成算法中， “狗咬人”比“人咬狗”出现的频率要高得多， 或者“我想吃奶奶”是一个相当匪夷所思的语句， 而“我想吃，奶奶”则要正常得多。与猴子使用打字机完全不同的是，从这样的模型中提取的文本 都将作为自然语言（例如，英语文本）来传递。只需要基于前面的对话片断中的文本， 就足以生成一个有意义的对话。显然，我们离设计出这样的系统还很遥远， 因为它需要“理解”文本，而不仅仅是生成语法合理的内容。中， 我们了解了如何将文本数据映射为词元， 以及将这些词元可以视为一系列离散的观测，例如单词或字符。

我们先将训练集中的所有文档合并在一起，对它们的唯一词元进行统计， 得到的统计结果称之为语料（corpus）。下面的tokenize函数将文本行列表（lines）作为输入， 列表中的每个元素是一个文本序列（如一条文本行）。最后，返回一个由词元列表组成的列表，其中的每个词元都是一个字符串（string）。文本: [‘twinkled’, ‘and’, ‘his’, ‘usually’, ‘pale’, ‘face’, ‘was’, ‘flushed’, ‘and’, ‘animated’, ‘the’]

这样的假设是合理的，因为新的动力学一定受新的数据影响， 而我们不可能用目前所掌握的数据来预测新的动力学。也就是说，输入数据的数量这个数字将会随着我们遇到的数据量的增加而增加， 因此需要一个近似方法来使这个计算变得容易处理。注意，如果我们处理的是离散的对象（如单词）， 而不是连续的数字，则上述的考虑仍然有效。仅是离散值时，这样的模型特别棒， 因为在这种情况下，使用动态规划可以沿着马尔可夫链精确地计算结果。当然，序列数据不仅仅是关于电影评分的。当下获得的最直接的好处就是参数的数量总是不变的， 至少在。

最重要的是，到目前为止我们默认数据都来自于某种分布， 并且所有样本都是独立同分布的 （independently and identically distributed，i.i.d.）。然而，大多数的数据并非如此。例如，文章中的单词是按顺序写的，如果顺序被随机地重排，就很难理解文章原始的意思。同样，视频中的图像帧、对话中的音频信号以及网站上的浏览行为都是有顺序的。换句话说，如果我们拥有一张图像，我们需要有效地利用其像素位置， 假若我们对图像中的像素位置进行重排，就会对图像中内容的推断造成极大的困难。

ResNet极大地改变了如何参数化深层网络中函数的观点。稠密连接网络（DenseNet） (Huang et al., 2017)在某种程度上是ResNet的逻辑扩展。让我们先从数学上了解一下。回想一下任意函数的泰勒展开式（Taylor expansion），它把这个函数分解成越来越高阶的项。分解为两部分：一个简单的线性项和一个复杂的非线性项。那么再向前拓展一步，如果我们想将。拓展成超过两部分的信息呢？一种方案便是DenseNet。同样，ResNet将函数展开为。也就是说，ResNet将。

【代码】onnx支持的pytorch(aten)算子。

pytorch图像变换。

Tensorrt模型转换与测试

pytorch函数测试1、函数测试1.1、测试 .sum(dim=(m,n))1.2、测试.sum(dim=-1)主要针对不知道函数结果的操作进行测试1、函数测试1.1、测试 .sum(dim=(m,n))f = torch.arange(4 * 5 * 6).view(1,1, 4, 5, 6)f.shapeOut[19]: torch.Size([1, 1, 4, 5, 6])fOut[20]: tensor([[[[[ 0, 1, 2, 3, 4, 5],

动手深度学习笔记（三十七）7.1. 深度卷积神经网络（AlexNet）7. 现代卷积神经网络7.1. 深度卷积神经网络（AlexNet）7.1.1. 学习表征7. 现代卷积神经网络上一章我们介绍了卷积神经网络的基本原理，本章我们将带你了解现代的卷积神经网络架构，许多现代卷积神经网络的研究都是建立在这一章的基础上的。 在本章中的每一个模型都曾一度占据主导地位，其中许多模型都是ImageNet竞赛的优胜者。ImageNet竞赛自2010年以来，一直是计算机视觉中监督学习进展的指向标。这些模型包括：Al

动手深度学习笔记（三十六）6.6. 卷积神经网络（LeNet）6. 卷积神经网络6.6. 卷积神经网络（LeNet）6.6.1. LeNet6.6.2. 模型训练6.6.3. 小结6. 卷积神经网络6.6. 卷积神经网络（LeNet）通过之前几节，我们学习了构建一个完整卷积神经网络的所需组件。 回想一下，之前我们将softmax回归模型（ 3.6节）和多层感知机模型（ 4.2节）应用于Fashion-MNIST数据集中的服装图片。 为了能够应用softmax回归和多层感知机，我们首先将每个大小为 28

动手深度学习笔记（三十五）6.5. 汇聚层6. 卷积神经网络6.5. 汇聚层6.5.1. 最大汇聚层和平均汇聚层6. 卷积神经网络6.5. 汇聚层通常当我们处理图像时，我们希望逐渐降低隐藏表示的空间分辨率、聚集信息，这样随着我们在神经网络中层叠的上升，每个神经元对其敏感的感受野（输入）就越大。而我们的机器学习任务通常会跟全局图像的问题有关（例如，“图像是否包含一只猫呢？”），所以我们最后一层的神经元应该对整个输入的全局敏感。通过逐渐聚合信息，生成越来越粗糙的映射，最终实现学习全局表示的目标，同时将卷

动手深度学习笔记（三十四）6.4. 多输入多输出通道6. 卷积神经网络6.4. 多输入多输出通道6.4.1. 多输入通道6.4.2. 多输出通道6.4.3. 1×1 卷积层6.4.4. 小结6.4.5. 练习6. 卷积神经网络6.4. 多输入多输出通道虽然我们在 6.1.4.1节中描述了构成每个图像的多个通道和多层卷积层。例如彩色图像具有标准的RGB通道来代表红、绿和蓝。 但是到目前为止，我们仅展示了单个输入和单个输出通道的简化例子。 这使得我们可以将输入、卷积核和输出看作二维张量。当我们添加通

动手深度学习笔记（三十三）6.3. 填充和步幅题6. 卷积神经网络6.3. 填充和步幅6.3.1. 填充6. 卷积神经网络6.3. 填充和步幅在前面的例子 图6.2.1中，输入的高度和宽度都为 3 ，卷积核的高度和宽度都为 2 ，生成的输出表征的维数为 2×2 。 正如我们在 6.2节中所概括的那样，假设输入形状为 nh×nw ，卷积核形状为 kh×kw ，那么输出形状将是 (nh−kh+1)×(nw−kw+1) 。 因此，卷积的输出形状取决于输入形状和卷积核的形状。还有什么因素会影响输出的大小呢？

动手深度学习笔记（三十二）6.2. 图像卷积6. 卷积神经网络6.2. 图像卷积6.2.1. 互相关运算6.2.2. 卷积层6.2.3. 图像中目标的边缘检测6.2.4. 学习卷积核6.2.5. 互相关和卷积6.2.6. 特征映射和感受野6.2.7. 小结6.2.8. 练习6. 卷积神经网络6.2. 图像卷积上节我们解析了卷积层的原理，现在我们看看它的实际应用。由于卷积神经网络的设计是用于探索图像数据，本节我们将以图像为例。6.2.1. 互相关运算严格来说，卷积层是个错误的叫法，因为它所表达的运算

动手深度学习笔记（三十一）6.1. 从全连接层到卷积6. 卷积神经网络6.1. 从全连接层到卷积6.1.1. 不变性6.1.2. 多层感知机的限制6.1.2.1. 平移不变性6.1.2.2. 局部性6.1.3. 卷积6.1.4. “沃尔多在哪里”回顾6.1.4.1. 通道6.1.5. 小结6.1.6. 练习6. 卷积神经网络6.1. 从全连接层到卷积我们之前讨论的多层感知机十分适合处理表格数据，其中行对应样本，列对应特征。 对于表格数据，我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与

动手深度学习笔记（三十）5.6. GPU5. 深度学习计算5.6. GPU5.6.1. 计算设备5.6.2. 张量与GPU5.6.2.1. 存储在GPU上5.6.2.2. 复制5.6.2.3. 旁注5.6.3. 神经网络与GPU5.6.4. 小结5.6.5. 练习5. 深度学习计算5.6. GPU在 表1.5.1中， 我们回顾了过去20年计算能力的快速增长。 简而言之，自2000年以来，GPU性能每十年增长1000倍。本节，我们将讨论如何利用这种计算性能进行研究。 首先是如何使用单个GPU，然后是如

动手深度学习笔记（二十九）5.5. 读写文件5. 深度学习计算5.5. 读写文件5.5.1. 加载和保存张量5. 深度学习计算5.5. 读写文件到目前为止，我们讨论了如何处理数据， 以及如何构建、训练和测试深度学习模型。 然而，有时我们希望保存训练的模型， 以备将来在各种环境中使用（比如在部署中进行预测）。 此外，当运行一个耗时较长的训练过程时， 最佳的做法是定期保存中间结果， 以确保在服务器电源被不小心断掉时，我们不会损失几天的计算结果。 因此，现在是时候学习如何加载和存储权重向量和整个模型了。5

动手深度学习笔记（二十八）5.4. 自定义层5. 深度学习计算5.4. 自定义层5.4.1. 不带参数的层5.4.2. 带参数的层5.4.3. 小结5.4.4. 练习5. 深度学习计算5.4. 自定义层深度学习成功背后的一个因素是神经网络的灵活性： 我们可以用创造性的方式组合不同的层，从而设计出适用于各种任务的架构。 例如，研究人员发明了专门用于处理图像、文本、序列数据和执行动态规划的层。 未来，你会遇到或要自己发明一个现在在深度学习框架中还不存在的层。 在这些情况下，你必须构建自定义层。在本节中，我

动手深度学习笔记（二十七）5.3. 延后初始化5. 深度学习计算5.3. 延后初始化5.3.1. 实例化网络5.3.2. 小结5.3.3. 练习5. 深度学习计算5.3. 延后初始化到目前为止，我们忽略了建立网络时需要做的以下这些事情：我们定义了网络架构，但没有指定输入维度。我们添加层时没有指定前一层的输出维度。我们在初始化参数时，甚至没有足够的信息来确定模型应该包含多少参数。你可能会对我们的代码能运行感到惊讶。 毕竟，深度学习框架无法判断网络的输入维度是什么。 这里的诀窍是框架的延后初始

动手深度学习笔记（二十六）5.2. 参数管理5. 深度学习计算5.2. 参数管理5.2.1. 参数访问5.2.1.1. 目标参数5.2.1.2. 一次性访问所有参数5.2.1.3. 从嵌套块收集参数5.2.2. 参数初始化5.2.2.1. 内置初始化5.2.2.2. 自定义初始化5.2.3. 参数绑定5.2.4. 小结5.2.5. 练习5. 深度学习计算5.2. 参数管理在选择了架构并设置了超参数后，我们就进入了训练阶段。 此时，我们的目标是找到使损失函数最小化的模型参数值。 经过训练后，我们将需要使

动手深度学习笔记（二十五）5.1. 层和块5. 深度学习计算5.1. 层和块5. 深度学习计算5.1. 层和块之前首次介绍神经网络时，我们关注的是具有单一输出的线性模型。 在这里，整个模型只有一个输出。 注意，单个神经网络 （1）接受一些输入； （2）生成相应的标量输出； （3）具有一组相关 参数（parameters），更新这些参数可以优化某目标函数。然后，当考虑具有多个输出的网络时， 我们利用矢量化算法来描述整层神经元。 像单个神经元一样，层（1）接受一组输入， （2）生成相应的输出， （3）由

动手深度学习笔记（二十四）4.10. 实战Kaggle比赛：预测房价4. 多层感知机4.10. 实战Kaggle比赛：预测房价4.10.1. 下载和缓存数据集4.10.2. Kaggle4.10.3. 访问和读取数据集4.10.4. 数据预处理4.10.5. 训练4. 多层感知机4.10. 实战Kaggle比赛：预测房价之前几节我们学习了一些训练深度网络的基本工具和网络正则化的技术（如权重衰减、暂退法等）。 本节我们将通过Kaggle比赛，将所学知识付诸实践。 Kaggle的房价预测比赛是一个很好的起

动手深度学习笔记（二十三）4.9. 环境和分布偏移4. 多层感知机4.9. 环境和分布偏移4.9.1. 分布偏移的类型4.9.1.1. 协变量偏移4. 多层感知机4.9. 环境和分布偏移前面我们学习了许多机器学习的实际应用，将模型拟合各种数据集。 然而，我们从来没有想过数据最初从哪里来？以及我们计划最终如何处理模型的输出？ 通常情况下，开发人员会拥有一些数据且急于开发模型，而不关注这些基本问题。许多失败的机器学习部署（即实际应用）都可以追究到这种方式。 有时，根据测试集的精度衡量，模型表现得非常出色

动手深度学习笔记（二十二）4.8. 数值稳定性和模型初始化4. 多层感知机4.8. 数值稳定性和模型初始化4.8.1. 梯度消失和梯度爆炸4.8.1.1. 梯度消失4. 多层感知机4.8. 数值稳定性和模型初始化到目前为止，我们实现的每个模型都是根据某个预先指定的分布来初始化模型的参数。 你可能认为初始化方案是理所当然的，忽略了如何做出这些选择的细节。 你甚至可能会觉得，初始化方案的选择并不是特别重要。 相反，初始化方案的选择在神经网络学习中起着举足轻重的作用， 它对保持数值稳定性至关重要。 此外，这

动手深度学习笔记（二十一）4.7. 前向传播、反向传播和计算图4. 多层感知机4.7. 前向传播、反向传播和计算图4.7.1. 前向传播4.7.2. 前向传播计算图4.7.3. 反向传播4.7.4. 训练神经网络4.7.5. 小结4.7.6. 练习4. 多层感知机4.7. 前向传播、反向传播和计算图我们已经学习了如何用小批量随机梯度下降训练模型。 然而当实现该算法时，我们只考虑了通过前向传播（forward propagation）所涉及的计算。 在计算梯度时，我们只调用了深度学习框架提供的反向传播函

动手深度学习笔记（二十）4.6. 暂退法（Dropout）4. 多层感知机4.6. 暂退法（Dropout）4.6.1. 重新审视过拟合4.6.2. 扰动的稳健性4.6.3. 实践中的暂退法4. 多层感知机4.6. 暂退法（Dropout）在 4.5节 中， 我们介绍了通过惩罚权重的 L2L_2L2​ 范数来正则化统计模型的经典方法。 在概率角度看，我们可以通过以下论证来证明这一技术的合理性： 我们已经假设了一个先验，即权重的值取自均值为0的高斯分布。 更直观的是，我们希望模型深度挖掘特征，即将其权重

动手深度学习笔记（十九）4.5. 权重衰减4. 多层感知机4.5. 权重衰减4.5.1. 范数与权重衰减4.5.2. 高维线性回归4.5.3. 从零开始实现4.5.3.1. 初始化模型参数4.5.3.2. 定义 L2L_2L2​ 范数惩罚4.5.3.3. 定义训练代码实现4.5.3.4. 忽略正则化直接训练4.5.3.5. 使用权重衰减4.5.4. 简洁实现4.5.5. 小结4.5.6. 练习4. 多层感知机4.5. 权重衰减前一节我们描述了过拟合的问题，本节我们将介绍一些正则化模型的技术。 我们总是

动手深度学习笔记（十八）4.4. 模型选择、欠拟合和过拟合4. 多层感知机4.4. 模型选择、欠拟合和过拟合4.4.1. 训练误差和泛化误差4.4.1.1. 统计学习理论4.4.1.2. 模型复杂性4.4.2. 模型选择4.4.2.1. 验证集4.4.2.2. K 折交叉验证4.4.3. 欠拟合还是过拟合？4. 多层感知机4.4. 模型选择、欠拟合和过拟合作为机器学习科学家，我们的目标是发现模式（pattern）。 但是，我们如何才能确定模型是真正发现了一种泛化的模式， 而不是简单地记住了数据呢？

动手深度学习笔记（十七）4.3. 多层感知机的简洁实现4. 多层感知机4.3. 多层感知机的简洁实现4.3.1. 模型4. 多层感知机4.3. 多层感知机的简洁实现正如你所期待的，我们可以通过高级API更简洁地实现多层感知机。import torchfrom torch import nnfrom d2l import torch as d2l4.3.1. 模型与softmax回归的简洁实现（ 3.7节）相比， 唯一的区别是我们添加了2个全连接层（之前我们只添加了1个全连接层）。 第一层是

动手深度学习笔记（十六）4.2. 多层感知机的从零开始实现4. 多层感知机4.2. 多层感知机的从零开始实现4.2.1. 初始化模型参数4.2.2. 激活函数4.2.3. 模型4.2.4. 损失函数4.2.5. 训练4.2.6. 小结4.2.7. 练习4. 多层感知机4.2. 多层感知机的从零开始实现我们已经在 4.1节中描述了多层感知机（MLP）， 现在让我们尝试自己实现一个多层感知机。 为了与之前softmax回归（ 3.6节 ） 获得的结果进行比较， 我们将继续使用Fashion-MNIST图像

动手深度学习笔记（十五）4.1. 多层感知机4. 多层感知机4.1. 多层感知机4.1.1. 隐藏层4.1.1.1. 线性模型可能会出错4.1.1.2. 在网络中加入隐藏层4.1.1.3. 从线性到非线性4.1.1.4. 通用近似定理4.1.2. 激活函数4.1.2.1. ReLU函数4.1.2.2. sigmoid函数4.1.2.3. tanh函数4.1.3. 小结4.1.4. 练习4. 多层感知机4.1. 多层感知机在 3节中， 我们介绍了softmax回归（ 3.4节）， 然后我们从零开始实现了

动手深度学习笔记（十四）3.7. softmax回归的简洁实现3. 线性神经网络3.7. softmax回归的简洁实现3.7.1. 初始化模型参数3.7.2. 重新审视Softmax的实现3.7.3. 优化算法3.7.4. 训练3.7.5. 小结3.7.6. 练习3. 线性神经网络3.7. softmax回归的简洁实现在 3.3节中， 我们发现通过深度学习框架的高级API能够使实现线性回归变得更加容易。 同样，通过深度学习框架的高级API也能更方便地实现softmax回归模型。 本节如在 3.6节中

动手深度学习笔记（十三）3.6. softmax回归的从零开始实现3. 线性神经网络3.6. softmax回归的从零开始实现3.6.1. 初始化模型参数3.6.2. 定义softmax操作3.6.3. 定义模型3.6.4. 定义损失函数3.6.5. 分类精度3.6.6. 训练3.6.7. 预测3.6.8. 小结3.6.9. 练习3. 线性神经网络3.6. softmax回归的从零开始实现就像我们从零开始实现线性回归一样， 我们认为softmax回归也是重要的基础，因此你应该知道实现softmax回归

动手深度学习笔记（十二）3.5. 图像分类数据集3. 线性神经网络3.5. 图像分类数据集3.5.1. 读取数据集3. 线性神经网络3.5. 图像分类数据集MNIST数据集 [LeCun et al., 1998] 是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。 我们将使用类似但更复杂的Fashion-MNIST数据集 [Xiao et al., 2017]。%matplotlib inlineimport torchimport torchvisionfrom torch.ut

动手深度学习笔记（十一）3.4. softmax回归题3. 线性神经网络3.4. softmax回归3.4.1. 分类问题3.4.2. 网络架构3.4.3. 全连接层的参数开销3.4.4. softmax运算3.4.5. 小批量样本的矢量化3.4.6. 损失函数3.4.6.1. 对数似然3.4.6.2. softmax及其导数3.4.6.3. 交叉熵损失3.4.7. 信息论基础3.4.7.1. 熵3.4.7.2. 惊异3.4.7.3. 重新审视交叉熵3.4.8. 模型预测和评估3.4.9. 小结3.4.10