weixin_39107270的博客

t检验的作用是帮助我们通过样本数据来推断总体的情况，尤其在小样本数据和未知总体方差的情况下特别有用。它通过检验均值差异来判断不同实验组之间、样本与总体之间是否存在显著的统计差异，从而为决策提供依据。

ArrayFire 是一个高性能计算库，专门为科学计算、机器学习、计算机视觉等领域设计。它提供了易用的接口，能够在 CPU、GPU 和其他加速硬件（如 OpenCL、CUDA）的设备上执行计算，支持高度并行和向量化操作。ArrayFire 的主要特点跨平台支持支持 CUDA（NVIDIA GPU）、OpenCL（AMD GPU 和 Intel 设备）以及多核 CPU（基于 SIMD 优化）。简单易用的 API提供 Python、C/C++、Fortran、Rust 等接口，简化复杂的计算任务。

Label Smoothing（标签平滑）是一种正则化技术，主要用于分类任务中，通过调整目标标签的分布来防止模型过度自信（overconfidence），从而提高模型的泛化能力。Label Smoothing 通过将 one-hot 编码的标签“平滑”为一个更软的分布，例如 [0.1, 0.1, 0.8]，从而减少模型对某一类别的过度自信。Label Smoothing 通过调整目标标签的分布，防止模型过度自信。防止过拟合：减少模型对训练数据的过度自信，提高泛化能力。提高鲁棒性：使模型对噪声标签更加鲁棒。

长期依赖问题：难以捕捉远程依赖关系。顺序计算：训练效率低下，难以并行。固定长度上下文：信息压缩导致的信息丢失。记忆容量有限：难以保留序列中的所有信息。长程依赖处理不佳：捕捉远距离词语关系的能力较弱。Transformer的引入，通过自注意力机制和并行计算，有效解决了这些问题，使其在自然语言处理和其他序列任务上表现出色。注意力机制（Attention Mechanism）是深度学习，特别是在处理序列数据（如自然语言处理、机器翻译等）中的一种重要技术。

什么是残差连接呢？残差连接就是把网络的输入和输出相加，即网络的输出为F(x)+x，在网络结构比较深的时候，网络梯度反向传播更新参数时，容易造成梯度消失的问题，但是如果每层的输出都加上一个x的时候，就变成了F(x)+x，对x求导结果为1，所以就相当于每一层求导时都加上了一个常数项‘1’，有效解决了梯度消失问题。

1. 什么是Pytorch一种基于Python的机器学习框架2个主要特点：*在GPU上计算 N维Tensor*在训练DNN时自动微分2. 训练神经网络的流程Training Neural NetworksTraining & Testing Neural Networks3. Training & Testing Neural Networks -in Pytorch3.1 Step1 Load Data (Dataset &^ Dataloader)

pytorch 官网tutorial-quickstart。

数据集3 - 数据量大，数据相似度低 - 在这种情况下，由于我们有一个大的数据集，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。然后，我们可以使用在预先训练的模型中的权重来重新训练该模型。数据集2 - 数据量少，数据相似度低 - 在这种情况下，我们可以冻结预训练模型的初始层（比如k层），并再次训练剩余的（n-k）层。数据集1 - 数据量少，但数据相似度非常高 - 在这种情况下，我们所做的只是修改最后几层或最终的softmax图层的输出类别。

1、PyTorch已经提供了很多常用的损失函数，但是有些非通用的损失函数并未提供，比如：DiceLoss、HuberLoss…等2、模型如果出现loss震荡，在经过调整数据集或超参后，现象依然存在，非通用损失函数或自定义损失函数针对特定模型会有更好的效果比如：DiceLoss是医学影像分割常用的损失函数，定义如下：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fsl0SyZ6-1692613806233)(attachment:image-2.png)]

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0G4NTv1z-1692613764220)(attachment:ed8eb711294e4c6e3e43690ddb2bf66.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-puyISgkD-1692613764220)(attachment:image.png)]核心问题：如何去掉权重字典键名中的"module"，以保证模型的统一性。

【代码】Pytorch-day04-模型构建-checkpoint。

注意：grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零。

【代码】pytorch 入门1-tensor 广播 view reshape。

【代码】【pytorch】数据转换/增强后保存。

输出：综合案例2 导入 excel 到Dataset

数据增广或者数据增扩作用： 降低数据采集成本 降低过拟合风险方法： 单样本、多样本、样本生成。

【代码】【python 进阶】pandas-datetime。

【代码】【python 进阶】 绘图。

定义输入值和期望输出。

写一段代码，模拟生成accuracy逐步上升、loss逐步下降的训练日志，并将日志信息记录到 training_log.txt中。##读取YOLO数据后画出曲线图。