weixin_41838721的博客

【代码】【机器学习基础】遍历模块内部尺寸：named_children。

从下向上看：全连接（Dense） → ELU(指数线性激活函数（比relu好点，有利于模型收敛）) → 全连接（Dense） → 门控线性单元（Gate）（Gated Linear Units (GLUs)） → Layernorm。：一方面，它可以进行静态上下文变量和动态变量的融合，另一方面，通过门控进行了特征选择操作，门控体现在GLU(门控线性单元)中，用了sigmoid控制信息的通过程度，具有良好的适应性，能够自动选择有效信息，自适应地调整网络复杂性。输入：主输入，可选的上下文向量c。

python环境下，实时查看GPU显存占用、功耗、进程状态。

粘贴过去，后在对应的extras\demo_suite 中使用cmd打开终端，输入：.\deviceQuery.exe，出PASS。将这段命令复制下来，打开Anaconda Prompt，激活需要配置的虚拟环境，然后粘贴运行这段代码即可进行安装。要注意，我们现在已经确定了CUDA和Pytorch的版本，但是与此同时，还需要确定安装的python版本。找和CUDA版本匹配的版本，下载解压后，以下三个文件复制到CUDA安装目录。看python版本，需要版本的python，去anaconda中新建一个。

梯度下降就是让损失函数最小，不断更新W和B的过程这个求偏导数是看W在损失函数的斜率超参数：人为指定的参数经验值0.05-0.001之间在代码中会封装成adam这样的优化器

Sigmoid函数观察导数图像在我们深度学习里面，导数是为了求参数W和B，W和B是在我们模型model确定之后，找出一组最优的W和B，使我们那个模型输入的x，得出我们Y最近我们真实结果的一个Y导数函数图像，往两边走的话，它的导数为零。如果这样的情况出现的话，出现梯度消失。我们希望它的导数是一个平稳值，不要大也不要小值落在，无穷大的时候或者无穷小的时候，它的导数就接近于零，此时W和B就不能更新了，无法找到最优的W和B。你就是你不断找不找，每天也走一走个几米几米远，事实上W和B在几千米远之外

综上所述，保持512通道数不变的设计，主要是为了在提取高级特征时有效地控制计算复杂度和参数规模，同时确保网络具有足够的表达能力。在这个网络架构中，卷积层的通道数随着网络的深度不断增加，达到512后保持不变。C3D后期卷积保持通道数不变。

卷积后，池化后尺寸计算公式：即：

全连接层的参数通常是递减的，这是因为网络的设计目的是逐步减少特征的维度，从而压缩信息并提取更高层次的特征。

1.代码2. 代码解释3. Kaiming正态分布4. 权重初始化为1，偏置初始化为0的原因。

由以上代码可知Dropout还可以将部分tensor中的值置为0。一句话总结：Dropout的是为了防止过拟合而设置。1.nn.Dropout用法一。2.nn.Dropout用法二。

根据pytorch中backward（）函数的计算，当网络参量进行反馈时，梯度是累积计算而不是被替换，但在处理每一个batch时并不需要与其他batch的梯度混合起来累积计算，因此需要对每个batch调用一遍zero_grad（）将参数梯度置0.这一行代码执行参数更新，即根据刚才计算出的梯度调整模型的参数（权重和偏置）。另外，如果不是处理每个batch清除一次梯度，而是两次或多次再清除一次，相当于提高了batch_size，对硬件要求更高，更适用于需要更高batch_size的情况。

init()是一个类的构造函数，用于初始化对象的属性。它会在创建对象时自动调用，而且通常在这里完成对象所需的所有初始化操作。forward()是一个神经网络模型中的方法，用于定义数据流的向前传播过程。它接受输入数据，通过网络的各个层进行计算，最终返回输出结果。在神经网络的 PyTorch 实现中，init。

激活函数的主要作用是在网络中加入非线性变换。

【机器学习基础】Anaconda与Pycharm使用。

MSE开根号。