- 博客(59)
- 收藏
- 关注
RSS订阅原创 python打卡day59@浙大疏锦行
机器学习模型：通过滑动窗口实现，往往需要借助arima等作为特征提取器来捕捉线性部分（趋势、季节性），再利用自己的优势捕捉非线性的残差。模型结果的检验可视化（昨天说的是摘要表怎么看，今天是对这个内容可视化）X了，可以自己借助AI尝试尝试，相信大家已经有这个能力了。深度学习模型：独特的设计天然为时序数据而生。多变量数据的理解：内生变量和外部变量。（单向因果）、VAR（考虑双向依赖）SARIMAX模型实现方案。2.SARIMAX建模模块。由于篇幅问题，无法实战。1.新增外生变量处理。
2025-07-04 22:30:58
198
1
原创 python打卡day58@浙大疏锦行
根据昨天学习的规则（PACF定p，ACF定q）来选择p和q的值。1. 原始序列ADF检验(p=0.32) → 一阶差分后平稳(p=0.01)- 如果p值 > 0.05，说明序列非平稳，需要进行差分。- 如果平稳了，则 d=1。否则，继续差分，直到平稳。模型评估与诊断：查看模型的摘要信息，检查残差是否为白噪声。3. ARIMA(2,1,2)模型AIC=1582.3。- 进行一阶差分，然后再次进行ADF检验。5. 建立并训练ARIMA(p, d, q)模型。ARIMA（p，d，q）模型实战。
2025-07-04 22:27:42
246
1
原创 python打卡day57@浙大疏锦行
MA(q) 移动平均模型：当前值收到短期冲击的影响，且冲击影响随时间衰减。检索下经典的时序单变量数据集有哪些，选择一个尝试观察其性质。AR(p) 自回归模型：当前值受到过去p个值的影响。ARMA(p,q) 自回归滑动平均模型。：同时存在自回归和冲击影响。处理非平稳性：n阶差分。处理季节性：季节性差分。经典时序数据集分析方案。1.新增数据集加载模块。
2025-07-04 22:24:03
186
1
原创 python打卡day56@浙大疏锦行
记忆口诀：p越小，落在置信区间外，越拒绝原假设。相信这次应该说清楚了假设检验相关的基础知识。自行构造数据集，来检查是否符合这个要求。P值、统计量、显著水平、置信区间。单位根ADF检验: 越小越平稳。时序部分需要铺垫的知识非常多，偏自相关性检验：PACF检验。序列分解：趋势+季节性+残差。自相关性检验：ACF检验和。Ljung-Box 检验。1. 新建数据生成模块。时序检验作业实现方案。
2025-06-26 22:54:01
169
1
原创 python打卡day55@浙大疏锦行
手动构造类似的数据集（如cosx数据），观察不同的机器学习模型的差异。经典机器学习在序列任务上的劣势；序列数据的处理：滑动窗口。多输入多输出任务的思路。2.多输入多输出架构。1. 余弦数据集构造。
2025-06-26 22:42:49
186
1
原创 python打卡day54@浙大疏锦行
之所以说传统，是因为现在主要是针对backbone-neck-head这样的范式做文章。1. 基础Inception模块实现（修改 src/models/train.py ）特征融合方法阶段性总结：逐元素相加、逐元素相乘、concat通道数增加等。3. CBAM增强版（需先创建 src/models/cbam.py ）2.残差增强版（新增在 src/models/train.py ）感受野与卷积核变体：深入理解不同模块和类的设计初衷。消融实验：引入残差机制和cbam模块分别进行消融。
2025-06-18 19:44:54
207
1
原创 python打卡day53@浙大疏锦行
对于心脏病数据集，对于病人这个不平衡的样本用GAN来学习并生成病人样本，观察不用GAN和用GAN的F1分数差异。四、评估对比（新增 src/visualization/evaluate.py ）一、数据预处理（修改 src/data/preprocessing.py ）对于gan的损失函数的理解，建议去找找视频看看，如果只是用，没必要学。二、GAN网络定义（新增 src/models/gan.py ）三、训练流程（修改 src/models/train.py ）对抗生成网络的思想：关注损失从何而来。
2025-06-13 21:16:55
345
1
原创 python打卡day52@浙大疏锦行
二、智能参数初始化（新增 src/models/initialization.py ）- 使用 torch.utils.tensorboard 记录超参数实验。一、全局随机种子设置（修改 src/models/train.py ）- 正则参数：Dropout率/L2系数。- 对边界层（如第一个卷积层）使用更大学习率。- 架构参数：卷积核尺寸/通道数。- 采用贝叶斯优化进行自动化超参数搜索。- 训练参数：学习率/批量大小。各部分参数的调整心得。神经网络调参核心实践。
2025-06-12 20:37:34
325
1
原创 python打卡day51@浙大疏锦行
day43的时候我们安排大家对自己找的数据集用简单cnn训练，现在可以尝试下借助这几天的知识来实现精度的进一步提高。三、Grad-CAM可视化（新增 src/visualization/gradcam.py ）2.下载Kaggle数据集到 data/raw/kaggle-dataset。一、数据准备（修改 src/data/preprocessing.py ）二、高效CNN模型（修改 src/models/train.py ）Kaggle图像分类与可视化方案。4.使用可视化模块分析结果。
2025-06-11 21:19:42
232
1
原创 python打卡day50@浙大疏锦行
ps：今日的代码训练时长较长，3080ti大概需要40min的训练时长。- 使用torchsummary查看详细结构。尝试对vgg16+cbam进行微调策略。ResNet结构解析与CBAM微调策略。好好理解下resnet18的模型结构。1.ResNet18核心结构。针对预训练模型的训练策略。CBAM放置位置的思考。2.CBAM放置策略。resnet结构解析。
2025-06-10 22:08:12
222
1
原创 python打卡day49@浙大疏锦行
尝试对今天的模型检查参数数目，并用tensorboard查看训练过程。3. TensorBoard记录需保持writer实例的持续使用。1. CBAM模块包含通道和空间注意力分支。一、通道注意力模块复习 & CBAM实现。2. 使用summary函数可显示参数量。三、TensorBoard监控增强。
2025-06-09 21:31:20
264
1
原创 python打卡day48@浙大疏锦行
1. torch.randn 生成正态分布张量， torch.rand 生成均匀分布。4. 显式维度扩展可用 None / unsqueeze 实现。卷积和池化的计算公式（可以不掌握，会自动计算的）ps：numpy运算也有类似的广播机制，基本一致。pytorch的广播机制：加法和乘法的广播机制。随机张量的生成：torch.randn函数。3. 广播机制维度对齐规则与NumPy一致。2. 卷积参数自动计算保持空间维度。
2025-06-08 21:00:20
276
1
原创 python打卡day46@浙大疏锦行
什么是注意力：注意力家族，类似于动物园，都是不同的模块，好不好试了才知道。对比不同卷积层特征图可视化的结果（可选）不同CNN层的特征图：不同通道的特征图。通道注意力：模型的定义和插入的位置。通道注意力后的特征图和热力图。今日代码较多，理解逻辑即可。一、CNN特征图可视化实现。二、通道注意力模块示例。
2025-06-06 22:10:53
363
1
原创 python打卡day45@浙大疏锦行
发展历史 ：TensorBoard 最初是 TensorFlow 框架的可视化工具，随着深度学习的发展，它逐渐成为了一个独立且强大的可视化库，现在也支持 PyTorch 等其他深度学习框架。- 原理 ：TensorBoard 通过记录模型训练过程中的各种数据（如损失值、准确率、梯度等）到日志文件中，然后在本地启动一个 Web 服务器，读取这些日志文件并将数据以可视化的方式呈现出来。- 记录标量数据 ：用于记录训练过程中的损失值、准确率等标量指标。- 记录图像数据 ：可以展示训练数据、生成的图像等。
2025-06-05 17:58:00
214
1
原创 python打卡day44@浙大疏锦行
在该模块中，可以找到 BasicBlock 类，它实现了 ResNet 的残差块。identity 是输入的原始特征图， out 是经过两层卷积和批量归一化处理后的特征图，将它们相加后再通过 ReLU 激活函数，使得模型可以学习到输入和输出之间的残差信息。可以选择不同的预训练模型，如 VGG16、Inception V3 等，对比它们在 CIFAR10 数据集上的训练时间、准确率等指标。尝试在cifar10对比如下其他的预训练模型，观察差异，尽可能和他人选择的不同。图像预训练模型的发展史。
2025-06-04 21:46:14
303
1
原创 python打卡day43@浙大疏锦行
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。五、Grad-CAM实现 (gradcam.py)三、CNN模型定义 (model.py)二、数据加载 (dataset.py)一、配置文件 (config.py)四、训练脚本 (train.py)六、工具函数 (utils.py)进阶：并拆分成多个文件。
2025-06-02 22:03:34
329
1
原创 python打卡day42@浙大疏锦行
4. Grad-CAM通过hook获取梯度和激活值生成热力图。2. lambda适合简单操作，复杂逻辑建议用普通函数。3. 模块钩子获取中间输出，张量钩子修改梯度。hook函数的模块钩子和张量钩子。1. 回调函数常用于训练过程监控。二、lambda函数示例。四、Grad-CAM示例。Grad-CAM的示例。三、hook函数示例。
2025-06-01 21:46:56
339
1
原创 python打卡day41@浙大疏锦行
2. Flatten -> Dense (with Dropout，可选) -> Dense (Output)- 大通道数 （如64/128）：模型容量大，但计算量高，需注意过拟合。作业：尝试手动修改下不同的调度器和CNN的结构，观察训练的差异。- 小通道数 （如32/64）：训练快、显存占用低，但可能欠拟合。- 不带BN层 ：对初始化敏感，适合小批量数据。- Swish ：梯度更平滑，适合深层网络。- Cosine ：平滑调整，适合连续训练。- 带BN层 ：训练稳定，允许更大学习率。
2025-05-31 22:22:34
292
1
原创 python打卡day40@浙大疏锦行
dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout。3. dropout的行为通过 train() / eval() 自动切换。4. 测试阶段建议配合 torch.no_grad() 减少内存消耗。展平操作：除第一个维度batchsize外全部展平。彩色和灰度图片测试和训练的规范写法：封装在函数中。三、Dropout训练/测试模式规范。1. 图像处理函数应自动适配输入维度。2. 展平操作必须保留batch维度。一、彩色/灰度图片处理规范写法。
2025-05-30 20:56:02
309
1
原创 python打卡day39@浙大疏锦行
灰度图像 ：单通道，像素值范围通常0-255，形状为(H, W)或(1, H, W)- 彩色图像 ：三通道(RGB)，形状为(3, H, W)或(H, W, 3)- 由多个神经网络层组成（卷积层、全连接层等）- 需要更大的学习率（可用线性缩放规则）- 需要定义前向传播(forward)逻辑。- 可能需梯度累积（若显存不足）- 每层包含可训练参数（权重和偏置）4.batchisize和训练的关系。- 平衡了梯度稳定性和计算效率。batchisize和训练的关系。- 损失波动剧烈（高方差）
2025-05-29 21:25:35
229
1
原创 python打卡day38@浙大疏锦行
Dataset类的__getitem__和__len__方法（本质是python的特殊方法）- __getitem__ : 根据索引返回单个样本。- batch_size : 每次加载的样本数。- shuffle : 是否打乱数据顺序。了解下cifar数据集，尝试获取其中一张图片。- __len__ : 返回数据集大小。二、创建DataLoader并获取单张图片。三、直接通过Dataset获取单张图片。minist手写数据集的了解。一、首先加载CIFAR数据集。Dataloader类。
2025-05-27 22:08:03
1117
1
原创 python打卡day37@浙大疏锦行
对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略。保存全部信息checkpoint，还包含训练状态。过拟合的判断：测试集和训练集同步打印指标。一、首先实现模型训练和保存权重。二、加载权重并继续训练50轮。四、整合到训练代码中。
2025-05-26 20:58:57
305
1
原创 python打卡day36@浙大疏锦行
train() / eval() : 设置训练/评估模式。- 使用PyTorch Lightning框架简化训练流程。- parameters() : 返回模型所有参数。- state_dict() : 获取模型状态字典。- to(device) : 移动模型到指定设备。然后可以在IDE中跳转到源码查看实现细节。- 添加类型提示(Type Hints)nn.Module探索建议。1.信贷项目神经网络改进。- 实现配置化参数管理。
2025-05-26 20:51:42
239
1
原创 python打卡day35@浙大疏锦行
三种不同的模型可视化方法：推荐torchinfo打印summary+权重分布可视化。1. 评估时一定要用 model.eval() 和 torch.no_grad()2. 进度条推荐使用tqdm或tensorboard。进度条功能：手动和自动写法，让打印结果更加美观。3. 超参数调整要系统性地对比（如网格搜索）作业：调整模型定义时的超参数，对比下效果。①使用torchinfo打印summary。1.模型定义示例（带超参数）1. 模型可视化方法。作业：超参数调整对比。推理的写法：评估模式。
2025-05-24 22:25:45
334
1
原创 python打卡day34@浙大疏锦行
self.fc1(x) 有效是因为PyTorch的 nn.Module 实现了 __call__ ，其内部会调用 forward()- 核心/线程数： lscpu 或Python中 os.cpu_count()类的call方法：为什么定义前向传播时可以直接写作self.fc1(x)- 架构代际： cat /proc/cpuinfo 查看型号和flags。GPU训练的方法：数据和模型移动到GPU device上。CPU性能的查看：看架构代际、核心数、线程数。GPU性能的查看：看显存、看级别、看架构代际。
2025-05-23 21:05:26
324
1
原创 python打卡day33@浙大疏锦行
1. 分类任务中，若标签是整数（如 0/1/2 类别），需转为long类型（对应 PyTorch 的torch.long），否则交叉熵损失函数会报错。2. 回归任务中，标签需转为float类型（如torch.float32）。2. 查看显卡信息的命令行命令（cmd中使用）a. 数据预处理（归一化、转换成张量）1. PyTorch和cuda的安装。i. 继承nn.Module类。iii. 定义前向传播流程。c. 定义损失函数和优化器。4. 简单神经网络的流程。d. 定义训练流程。
2025-05-22 21:26:59
219
1
原创 python打卡day32@浙大疏锦行
作业：参考pdpbox官方文档中的其他类，绘制相应的图，任选即可。官方文档的阅读和使用：要求安装的包和文档为同一个版本。官方文档的检索方式：github和官网。绘图的理解：对底层库的调用。普通方法所需要的参数。
2025-05-21 22:43:26
261
1
原创 python打卡day30@浙大疏锦行
导入库/模块的核心逻辑：找到根目录（python解释器的目录和终端的目录不一致），告诉Python这是“包”（类似一个标志牌）。因为代码中动态添加了根目录路径。自己新建几个不同路径文件尝试下如何导入。打开终端（或命令行），进入。导入自定义库/模块的方式。在桌面上新建一个文件夹。（这就是项目的根目录）。导入官方库的三种手段。
2025-05-19 20:49:00
381
1
原创 python打卡day29@浙大疏锦行
复习类和函数的知识点，写下自己过去29天的学习心得，如对函数和类的理解，对python这门工具的理解等，未来再过几个专题部分我们即将开启深度学习部分。通过合理运用这些特性，可以构建出高扩展性和低耦合度的程序架构。装饰器思想的进一步理解：外部修改、动态。二、装饰器思想：外部修改与动态特性。类方法的定义：内部定义和外部定义。外部添加：灵活扩展，适合框架开发。：通过包装类实现批量功能注入。：非侵入式修改、动态组合功能。内部定义：标准方式，结构清晰。②强制检查类方法实现。三、类方法的定义方式。
2025-05-18 22:48:55
596
1
原创 python打卡day28@浙大疏锦行
calculate_perimeter()：计算周长（公式：2×(长+宽)）。is_square() 方法，判断是否为正方形（长 == 宽）。calculate_circumference()：计算圆的周长（公式：2πr）。shape_type="rectangle"：创建长方形（参数：长、宽）。calculate_area()：计算圆的面积（公式：πr²）。shape_type="circle"：创建圆（参数：半径）。calculate_area()：计算面积（公式：长×宽）。
2025-05-17 22:07:22
271
1
原创 python打卡day26@浙大疏锦行
编写一个名为 calculate_circle_area 的函数，该函数接收圆的半径 radius 作为参数，并返回圆的面积。编写一个名为 calculate_average 的函数，该函数可以接收任意数量的数字作为参数（引入可变位置参数 (*args)），并返回它们的平均值。编写一个名为 print_user_info 的函数，该函数接收一个必需的参数 user_id，以及任意数量的额外用户信息（作为关键字参数）。函数的参数类型：位置参数、默认参数、不定参数。user_id 是一个必需的位置参数。
2025-05-15 22:28:57
338
1
原创 python打卡day25@浙大疏锦行
作业：理解今日的内容即可，可以检查自己过去借助ai写的代码是否带有try-except机制，以后可以尝试采用这类写法增加代码健壮性。在即将进入深度学习专题学习前，我们最后差缺补漏，把一些常见且重要的知识点给他们补上，加深对代码和流程的理解。4.try-except-else-finally机制。四、try-except-else-finally机制。2.debug过程中的各类报错。二、debug过程中的各类报错。：将可能出错的代码尽量缩小在。3.try-except机制。三、try-except机制。
2025-05-14 21:45:18
447
1
原创 python打卡day23@浙大疏锦行
整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline。3. ColumnTransformer和Pipeline类。三、构建有序特征pipeline。四、构建标称特征pipeline。1. 转化器和估计器的概念。二、导入pipeline。五、串联预处理器和模型。
2025-05-12 21:18:14
305
1
原创 python打卡day22@浙大疏锦行
自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码。仔细回顾一下之前21天的内容，没跟上进度的同学补一下进度。二、利用随机森林模型进行训练和验证。三、导入测试集并对数据测试。
2025-05-11 22:17:52
365
1
原创 python打卡day21@浙大疏锦行
从上面脚本产生的图表可以看出，虽然两种方式都能有效呈现原始数据的空间布局，但在细节刻画方面各有侧重——前者强调宏观视角下的连续变化轨迹，后者则突出离散型个体之间细微差别所在之处。通过减少数据的维度，不仅可以降低计算复杂度，还能帮助揭示隐藏在高维数据中的结构和模式。然而需要注意的是，由于 t-SNE 过程引入了一定程度的随机性和敏感参数调整依赖性强等问题，可能导致重复运行结果不完全一致。综上所述，选择何种降维方案取决于实际应用场景的具体需求以及待解决问题本身的性质等因素共同决定。
2025-05-10 20:42:28
411
1
原创 python打卡day20@浙大疏锦行
对于任何矩阵（如结构化数据可以变为：样本*特征的矩阵，图像数据天然就是矩阵），均可做等价的奇异值SVD分解，对于分解后的矩阵，可以选取保留前K个奇异值及其对应的奇异向量，重构原始矩阵，可以通过计算Frobenius 范数相对误差来衡量原始矩阵和重构矩阵的差异。应用：结构化数据中，将原来的m个特征降维成k个新的特征，新特征是原始特征的线性组合，捕捉了数据的主要方差信息，降维后的数据可以直接用于机器学习模型（如分类、回归），通常能提高计算效率并减少过拟合风险。3.降噪：通常噪声对应较小的奇异值。
2025-05-09 21:49:50
262
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人