2201_75852821的博客

机器学习模型：通过滑动窗口实现，往往需要借助arima等作为特征提取器来捕捉线性部分（趋势、季节性），再利用自己的优势捕捉非线性的残差。模型结果的检验可视化（昨天说的是摘要表怎么看，今天是对这个内容可视化）X了，可以自己借助AI尝试尝试，相信大家已经有这个能力了。深度学习模型：独特的设计天然为时序数据而生。多变量数据的理解：内生变量和外部变量。（单向因果）、VAR（考虑双向依赖）DAY 59 经典时序预测模型3。由于篇幅问题，无法实战。

DAY 58 经典时序预测模型2知识点回顾：时序建模的流程时序任务经典单变量数据集ARIMA（p，d，q）模型实战SARIMA摘要图的理解处理不平稳的2种差分n阶差分---处理趋势季节性差分---处理季节性建立一个ARIMA模型，通常遵循以下步骤：1. 数据可视化：观察原始时间序列图，判断是否存在趋势或季节性。2. 平稳性检验：- 对原始序列进行ADF检验。- 如果p值 > 0.05，说明序列非平稳，需要进行差分。

DAY 57经典时序模型1知识点回顾序列数据的处理：处理非平稳性：n阶差分处理季节性：季节性差分自回归性无需处理模型的选择AR(p) 自回归模型：当前值受到过去p个值的影响MA(q) 移动平均模型：当前值收到短期冲击的影响，且冲击影响随时间衰减ARMA(p,q) 自回归滑动平均模型：同时存在自回归和冲击影响作业：检索下经典的时序单变量数据集有哪些，选择一个尝试观察其性质。数据集选择的是经典的国际航空公司乘客数据集。

-- 开始检验白噪声属性 --- 1. 序列的均值: 9.0969 (结论: 均值偏离0较远。) 2. 序列的方差: 55.5327 (结论: 方差偏离1较远。) 3. 检验自相关性 (使用ACF图): - ACF图展示了序列与它过去值之间的相关性。- 对于白噪声，只有lag=0时相关性为1，其他所有lag的相关性都应在蓝色置信区间内（统计上不显著）。记忆口诀：p越小，落在置信区间外，越拒绝原假设。DAY 56 时序数据的检验。偏自相关性检验：PACF检验。自相关性检验：ACF检验和。

手动构造类似的数据集（如cosx数据），观察不同的机器学习模型的差异。经典机器学习在序列任务上的劣势；使用lightgbm同样效果非常差。DAY 55 序列预测任务介绍。序列数据的处理：滑动窗口。多输入多输出任务的思路。

原始inception+CBMA+残差机制的准确率可以达到79.93%特征融合方法阶段性总结：逐元素相加、逐元素相乘、concat通道数增加等。原始inception+CBMA的准确率可以达到81.41%感受野与卷积核变体：深入理解不同模块和类的设计初衷。对inception网络在cifar10上观察精度。原始inception的准确率可以达到82.00%消融实验：引入残差机制和cbam模块分别进行消融。inception模块和网络。Inception网络。原始inception。

对于心脏病数据集，对于病人这个不平衡的样本用GAN来学习并生成病人样本，观察不用GAN和用GAN的F1分数差异。nn.sequential容器：适合于按顺序运算的情况，简化前向传播写法。对于gan的损失函数的理解，建议去找找视频看看，如果只是用，没必要学。leakyReLU介绍：避免relu的神经元失活现象。使用GAN数据增强后F1分数: 0.8955。对抗生成网络的思想：关注损失从何而来。原始F1分数: 0.8438。

day41的简单CNN最后的结果，今天要做的是使用调参指南中的方法进一步提高精度。作业：对于day'41的简单cnn，看看是否可以借助调参指南进一步提高精度。最终测试准确率: 87.04%DAY 52 神经网络调参指南。各部分参数的调整心得。

定义通道注意力"""通道注意力机制初始化参数:in_channels: 输入特征图的通道数ratio: 降维比例，用于减少参数量，默认为16"""# 全局平均池化，将每个通道的特征图压缩为1x1，保留通道间的平均值信息# 全局最大池化，将每个通道的特征图压缩为1x1，保留通道间的最显著特征# 共享全连接层，用于学习通道间的关系# 先降维（除以ratio），再通过ReLU激活，最后升维回原始通道数。

加载预训练VGG16# 提取特征部分# 修改首层卷积以适应32x32输入（CIFAR10）# 在每个最大池化层后添加CBAM模块# 分类部分nn.Linear(512 * 1 * 1, 4096), # 因为输入尺寸为32x32，经过多次下采样后变为1x1# 第一组卷积 + 池化 + CBAMx = self.features[:5](x) # 到第一个MaxPool2d# 第二组卷积 + 池化 + CBAM。

DAY 49 CBAM注意力知识点回顾：通道注意力模块复习空间注意力模块CBAM的定义最近临近毕业，事情有点多。如果有之前的基础的话，今天的难度相对较低。后面说完几种模块提取特征的组合方式后，会提供整理的开源模块的文件。现在大家已近可以去读这类文章了，应该已经可以无压力看懂三四区的很多这类文章。作业：尝试对今天的模型检查参数数目，并用tensorboard查看训练过程1.通道注意力模块。

ps：numpy运算也有类似的广播机制，基本一致自己多借助ai举几个例子帮助自己理解即可随机张量的生成在深度学习中经常需要随机生成一些张量，比如权重的初始化，或者计算输入纬度经过模块后输出的维度，都可以用一个随机函数来实现需要的张量格式，而无需像之前一样必须加载一张真实的图片。随机函数的种类很多，我们了解其中一种即可，毕竟目的主要就是生成，对分布要求不重要。

昨天代码中注意力热图的部分顺移至今天。作业：对比不同卷积层热图可视化的结果。DAY 47 注意力热图可视化。

不同CNN层的特征图：不同通道的特征图。提升不是很明显，50轮后略有些提升。为了保证收敛方便对比性能，今日。通道注意力后的特征图和热力图。DAY 46 通道注意力。

实际上对目前的ai而言，你只需要先完成最简单的demo，然后让他给你加上tensorboard需要打印的部分即可。---核心是弄懂tensorboard可以打印什么信息，以及如何看可视化后的结果，把ai当成记忆大师用到的时候通过它来调取对应的代码即可。tensorboard的代码还有有一定的记忆量，实际上深度学习的经典代码都是类似于八股文，看多了就习惯了，难度远远小于考研数学等需要思考的内容。tensorboard和torch版本存在一定的不兼容性，如果报错请新建环境尝试。

DAY 44 预训练模型知识点回顾：预训练的概念常见的分类预训练模型图像预训练模型的发展史预训练的策略预训练代码实战：resnet18作业：尝试在cifar10对比如下其他的预训练模型，观察差异，尽可能和他人选择的不同尝试通过ctrl进入resnet的内部，观察残差究竟是什么1.数据预处理2.定义ResNet50模型3.冻结/解冻模型层的函数。

数据集使用猫狗数据集，训练集中包含猫图像4000张、狗图像4005张。测试集包含猫图像1012张，狗图像1013张。以下是数据集的下载地址。kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。我这里对数据集文件路径做了改变。1.数据集加载与数据预处理。3. Grad-CAM实现。

其中回调函数作为参数传入，所以在定义的时候一般用callback来命名，在 PyTorch 的 Hook API 中，回调参数通常命名为 hook。张量钩子有两种： - `register_hook`：用于监听张量的梯度 - `register_full_backward_hook`：用于在完整的反向传播过程中监听张量的梯度（PyTorch 1.4+）Grad-CAM 的核心思想是：通过反向传播得到的梯度信息，来衡量每个特征图对目标类别的重要性。反向钩子与前向钩子类似，但它是在反向传播过程中被调用的。

4. 定义CNN模型的定义（替代原MLP）super(CNN, self).__init__() # 继承父类初始化# ---------------------- 第一个卷积块 ----------------------# 卷积层1：输入3通道（RGB），输出32个特征图，卷积核3x3，边缘填充1像素in_channels=3, # 输入通道数（图像的RGB通道）out_channels=32, # 输出通道数（生成32个新特征图）

仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout。1.彩色和灰度图片测试和训练的规范写法：封装在函数中。展平操作：除第一个维度batchsize外全部展平。彩色和灰度图片测试和训练的规范写法：封装在函数中。训练和测试的规范写法。

定义两层MLP神经网络self.flatten = nn.Flatten() # 将28x28的图像展平为784维向量self.layer1 = nn.Linear(784, 128) # 第一层：784个输入，128个神经元self.relu = nn.ReLU() # 激活函数self.layer2 = nn.Linear(128, 10) # 第二层：128个输入，10个输出（对应10个数字类别）x = self.flatten(x) # 展平图像。

DAY 38 Dataset和Dataloader类对应5. 27作业知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片MNIST手写数字数据集。该数据集包含60000张训练图片和10000张测试图片，每张图片大小为28*28像素，共包含10个类别。

如果可以监控验证集的指标不再变好，此时提前终止训练，避免模型对训练集过度拟合。----监控的对象是验证集的指标。原理：保存模型参数、优化器状态（学习率、动量）、训练轮次、损失值等完整训练状态，用于中断后继续训练。原理：保存模型的权重参数，不保存模型结构代码。过拟合：训练集损失持续下降，但测试集损失在某一时刻开始上升（或不再下降）。优点：文件体积小（仅含参数），跨框架兼容性强（需自行定义模型结构）。缺点：文件体积大，依赖训练时的代码环境（如自定义层可能报错）。1.过拟合的判断：同时打印训练集与测试集的损失。

对之前的信贷项目，利用神经网络训练下，尝试用到目前的知识点让代码更加规范和美观。仔细回顾一下神经网络到目前的内容，没跟上进度的同学补一下进度。：尝试进入nn.Module中，查看他的方法。探索性作业（随意完成）DAY 36 复习日。

2.进度条功能：手动和自动写法，让打印结果更加美观DAY 35 模型可视化与推理外出几天，所以提前更新几日作业，对应5.24作业知识点回顾：三种不同的模型可视化方法：推荐torchinfo打印summary+权重分布可视化进度条功能：手动和自动写法，让打印结果更加美观推理的写法：评估模式作业：调整模型定义时的超参数，对比下效果。1.三种不同的模型可视化方法：推荐torchinfo打印summary+权重分布可视化1.1 nn.model自带方法。

DAY 34 GPU训练及类的call方法知识点回归：CPU性能的查看：看架构代际、核心数、线程数GPU性能的查看：看显存、看级别、看架构代际GPU训练的方法：数据和模型移动到GPU device上类的call方法：为什么定义前向传播时可以直接写作self.fc1(x)作业复习今天的内容，在巩固下代码。思考下为什么会出现这个问题。利用上述代码可以查看基本的CPU信息。

1. 分类任务中，若标签是整数（如 0/1/2 类别），需转为long类型（对应 PyTorch 的torch.long），否则交叉熵损失函数会报错。2. 回归任务中，标签需转为float类型（如torch.float32）。使用Adam优化器不到2000轮就收敛了，且损失要比SGD小。今日的代码，要做到能够手敲。这已经是最简单最基础的版本了。查看显卡信息的命令行命令（cmd中使用）数据预处理（归一化、转换成张量）PyTorch和cuda的安装。DAY 33 简单的神经网络。定义损失函数和优化器。

参考pdpbox官方文档中的其他类，绘制相应的图，任选即可。官方文档的阅读和使用：要求安装的包和文档为同一个版本。官方文档的检索方式：github和官网。DAY 32 官方文档的阅读。绘图的理解：对底层库的调用。普通方法所需要的参数。

尝试针对之前的心脏病项目ipynb，将他按照今天的示例项目整理成规范的形式，思考下哪些部分可以未来复用。notebook文件夹内的ipynb。DAY 31 文件的规范拆分和写法。

**核心特征**：包的根目录下必须包含一个 `__init__.py` 文件（可以为空），用于标识该目录是一个包。- **本质**：以 `.py` 结尾的**单个文件**，包含Python代码（函数、类、变量等）。__file__ ：当前模块的文件路径；__name__ ：当模块被直接运行时值为 '__main__' ，被导入时值为模块名。- **本质**：**有层次的文件目录结构**（即文件夹），用于组织多个模块和子包。- **作用**：将代码拆分到不同文件中，避免代码冗余，方便复用和维护。

一个常见的类的定义包括了：1. 关键字class2. 类名3. 语法固定符号冒号(:)4. 一个初始化函数__init__(self)注意：注意：init左右各有两个下划线__，需要传入self这个特殊的参数。

编写一个装饰器 logger，在函数执行前后打印日志信息（如函数名、参数、返回值）DAY 27 函数专题2：装饰器。装饰器的思想：进一步复用。注意内部函数的返回值。

编写一个名为 calculate_circle_area 的函数，该函数接收圆的半径 radius 作为参数，并返回圆的面积。编写一个名为 calculate_average 的函数，该函数可以接收任意数量的数字作为参数（引入可变位置参数 (*args)），并返回它们的平均值。编写一个名为 print_user_info 的函数，该函数接收一个必需的参数 user_id，以及任意数量的额外用户信息（作为关键字参数）。函数的参数类型：位置参数、默认参数、不定参数。user_id 是一个必需的位置参数。

DAY 25 异常处理知识点回顾：异常处理机制debug过程中的各类报错try-except机制try-except-else-finally机制在即将进入深度学习专题学习前，我们最后差缺补漏，把一些常见且重要的知识点给他们补上，加深对代码和流程的理解。作业：理解今日的内容即可，可以检查自己过去借助ai写的代码是否带有try-except机制，以后可以尝试采用这类写法增加代码健壮性。异常值处理机制：Python的异常处理机制为程序提供了强大的容错能力 (fault tolerance)

随着深度学习项目变得越来越大、数据量越来越多、代码结构越来越复杂，你会越来越频繁地用到 os 模块来管理文件、目录、路径，以及进行一些基本的操作系统交互。虽然深度学习的核心在于模型构建和训练，但数据和模型的有效管理是项目成功的关键环节，而 os 模块为此提供了重要的工具。但是，当你开始处理图像数据集、自定义数据加载流程、保存和加载复杂的模型结构时，os 模块就会变得非常有用。2. 元组中的元素不能修改，这一点非常重要，深度学习场景中很多参数、形状定义好了确保后续不能被修改。DAY 24 元组和OS模块。

整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline。ColumnTransformer和Pipeline类。DAY 23 pipeline管道。数据集选择的是泰坦尼克号数据集。转化器和估计器的概念。

这里我在实际过程中发现了一个错误，test_data在丢弃列的时候不能丢弃ID列，否则在pd.DataFrame读取ID列时会读不到，所以我想了一个方法，就是单独用一个X_test来丢弃ID列。可见数据中包含缺失值，此外姓名、船票、ID、船舱列对预测并没什么帮助----直接删除。自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码。仔细回顾一下之前21天的内容，没跟上进度的同学补一下进度。DAY 22 复习日。

高维数据难以直接可视化（如超过3维），通过降维（如PCA、t-SNE、UMAP）投影到2D/3D空间，揭示数据分布、聚类或流形结构。适用算法：t-SNE（非线性可视化）、PCA（线性全局结构）、UMAP（高效非线性）。高维特征导致计算成本高且易过拟合（如文本、图像数据），降维可减少参数数量，提升效率。适用算法：PCA、LDA（有监督分类场景）、Autoencoder（深度学习方法）。适用算法：PCA（最大化方差去噪）、ICA（独立成分分析）。适用算法：LDA（优化类间距离）、NCA（邻域成分分析）。

对于任何矩阵（如结构化数据可以变为：样本*特征的矩阵，图像数据天然就是矩阵），均可做等价的奇异值SVD分解，对于分解后的矩阵，可以选取保留前K个奇异值及其对应的奇异向量，重构原始矩阵，可以通过计算Frobenius 范数相对误差来衡量原始矩阵和重构矩阵的差异。应用：结构化数据中，将原来的m个特征降维成k个新的特征，新特征是原始特征的线性组合，捕捉了数据的主要方差信息，降维后的数据可以直接用于机器学习模型（如分类、回归），通常能提高计算效率并减少过拟合风险。降噪：通常噪声对应较小的奇异值。

DAY 19常见的特征筛选算法方差筛选皮尔逊相关系数筛选lasso筛选树模型重要性shap重要性递归特征消除REF作业：对心脏病数据集完成特征筛选，对比精度。