weixin_39107270的博客

所有的batch 过一遍，称为一个epoch。每个batch 更新一次参数。

当我们使用pytorch进行模型训练或测试时，有时候希望能知道模型每一层分别是什么，具有怎样的参数。此时我们可以将模型打印出来，输出每一层的名字、类型、参数等。

【代码】深度循环神经网络。

长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。解决这一问题的最早方法之一是长短期存储器（long short-term memory，LSTM） (Hochreiter and Schmidhuber, 1997)。它有许多与门控循环单元（ 9.1节）一样的属性。有趣的是，长短期记忆网络的设计比门控循环单元稍微复杂一些， 却比门控循环单元早诞生了近20年。

门控循环单元与普通的循环神经网络之间的关键区别在于： 前者支持隐状态的门控。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要， 模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。下面我们将详细讨论各类门控。

【代码】循环神经网络-简洁实现。

【代码】循环神经网络-从零开始实现。

本节中，我们将解析文本的常见预处理步骤。这些步骤通常包括：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。

以上例子清楚地说明了当我们试图预测更远的未来时，预测的质量是如何变化的。步预测”看起来仍然不错，但超过这个跨度的任何预测几乎都是无用的。一个拥有两个全连接层的多层感知机，ReLU激活函数和平方损失。以预测的结果作为输入进行下一步预测。

ot 控制是否让输出，是否要进行重置。

然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中）， 但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。所以，目标是要把y编程一个标量，然后进行求导。关于 dot(x,x) 后为标量， x。x.sum() 后为标量。

2.path必须是绝对路径才可以正常找到文件，/home/…修改2 ，修改路径，去掉上下双引号和等号。3.启动tensorboard。1.=的左右都不能有空格。修改1：改变路径，报错。

预测下一个点效果还不错，长短期效果不一定。tao 不能太大 也不能太小。

通常，在数据集噪声较小的情况下，可以用BalanceCascade，可以用较少的基分类器数量得到较好的表现（基于串行的集成学习方法，对噪声敏感容易过拟合）。需要注意的是，过采样可能会导致模型对少数类别样本过拟合的问题，因此在应用过采样之前，需要仔细评估其对模型性能的影响，并选择适当的评估指标来评估模型的效果。值得注意的是，欠采样可能会导致信息丢失，因此在应用欠采样之前，需要仔细评估其对模型性能的影响，并选择适当的评估指标来评估模型的效果。：精确率是指模型预测为正例的样本中，实际为正例的比例。

好的模型应该是简单的模型，能防止过拟合。简单性的另一个角度是平滑性，即函数不应该对其输入的微小变化敏感。加入噪声能在输入-输出映射上增强平滑性。在暂退法（Drop out ）中增加噪声的方式是：在前向传播过程中，计算每一内部层的同时注入噪声。将概率p的值置为0， 其他值修改为 h/(1-p)，保证期望前后不变。5.在测试时不用使用dropout. 我们在测试时不用暂退法。给定一个训练好的模型和一个新的样本，我们不会丢弃任何节点，因此不需要标准化。

大模型无法避免过拟合，

本想去配环境的步骤，在之前yolov5运行的环境下，试predict yolov8，竟然报错。与其改bug, 选择重头来。

接下来，我们必须[定义模型，将模型的输入和参数同模型的输出关联起来。回想一下，要计算线性模型的输出，我们只需计算输入特征X\mathbf{X}X和模型权重w\mathbf{w}w的矩阵-向量乘法后加上偏置bbb。注意，上面的XwXw是一个向量，而bbb是一个标量。中描述的广播机制：当我们用一个向量加一个标量时，标量会被加到向量的每个分量上。

通俗来说，梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在当前位置的导数。上式中，θ是自变量，f是关于θ的函数。从直观角度理解想象下：假设中间是山谷，两边都是山。当在左边的山上要下坡时，梯度为负，x需要往山谷靠近，即x要有右移，增大，则应该是+负梯度;同理分析当在山谷右边要移动到山谷时的情景。先写出一阶泰勒展开式的表达式：其中，是η矢量，它的大小就是我们之前讲的步进长度，类比于下山过程中每次前进的一小步，v为标量，而的单位向量用表示。