- 博客(55)
- 收藏
- 关注
RSS订阅原创 DAY 56 时序数据的检验
然后我们来看均值和方差，他们不为0，意味着他们可以变化也可以不变化。所以我们要引入平稳性（Stationarity）和非平稳性来进一步细分这个模式。一个平稳的序列，其统计特性（如均值、方差variance）不会随时间变化而变化。这使得序列中的规律是可重复、可学习的。非平稳的例子：一个持续上涨的股票价格（均值在变），一个夏天销量高、冬天销量低的冰淇淋销售数据（存在季节性，均值也在周期性变化）。所以，在寻找规律前，我们首先要问：这个规律本身稳定吗？
2025-10-25 15:43:08
722
原创 53 对抗生成网络
知识点回顾：1.对抗生成网络的思想：关注损失从何而来2.生成器、判别器3.nn.sequential容器：适合于按顺序运算的情况，简化前向传播写法4.leakyReLU介绍：避免relu的神经元失活现象ps；如果你学有余力，对于gan的损失函数的理解，建议去找找视频看看，如果只是用，没必要学作业：对于心脏病数据集，对于病人这个不平衡的样本用GAN来学习并生成病人样本，观察不用GAN和用GAN的F1分数差异。
2025-10-24 15:23:57
1006
原创 DAY 52 神经网络调参指南
知识点回顾：随机种子内参的初始化神经网络调参指南参数的分类调参的顺序各部分参数的调整心得之前有同学问我之前对于权重的有什么意义，我们现在来引入这个概念，从权重的初始化到权重的可视化随着学习的越来越深入，有一些基础的概念我们往后就绕不过去了，还是得把基础打牢，介绍下这些概念。
2025-08-26 20:50:15
783
原创 DAY 51 复习日+退款开始
定义通道注意力"""通道注意力机制初始化参数:in_channels: 输入特征图的通道数ratio: 降维比例，用于减少参数量，默认为16"""# 全局平均池化，将每个通道的特征图压缩为1x1，保留通道间的平均值信息self.avg_pool = nn.AdaptiveAvgPool2d(1)#计算每个通道特征图中所有像素的平均值# 全局最大池化，将每个通道的特征图压缩为1x1，保留通道间的最显著特征。
2025-08-24 22:38:31
386
原创 DAY 50 预训练模型+CBAM模块
知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调ps：今日的代码训练时长较长，3080ti大概需要40min的训练时长作业：好好理解下resnet18的模型结构尝试对vgg16+cbam进行微调策略现在我们思考下，是否可以对于预训练模型增加模块来优化其效果，这里我们会遇到一个问题预训练模型的结构和权重是固定的，如果修改其中的模型结构，是否会大幅影响其性能。其次是训练的时候如何训练才可以更好的避免破坏原有的特征提取器的参数。
2025-08-23 23:38:42
1027
3
原创 DAY 49 CBAM注意力
知识点回顾：通道注意力模块复习空间注意力模块CBAM的定义作业：尝试对今天的模型检查参数数目，并用tensorboard查看训练过程cbam模块介绍cbam（Convolutional Block Attention Module）注意力之前我们介绍了se通道注意力，我们说所有的模块本质上只是对特征进一步提取，今天进一步介绍cbam注意力CBAM 是一种能够集成到任何卷积神经网络架构中的注意力模块。
2025-08-22 14:53:30
528
原创 DAY 48 随机函数与广播机制
知识点回顾：随机张量的生成：torch.randn函数卷积和池化的计算公式（可以不掌握，会自动计算的）pytorch的广播机制：加法和乘法的广播机制ps：numpy运算也有类似的广播机制，基本一致作业：自己多借助ai举几个例子帮助自己理解即可在继续讲解模块消融前，先补充几个之前没提的基础概念尤其需要搞懂张量的维度、以及计算后的维度，这对于你未来理解复杂的网络至关重要。
2025-08-21 16:25:56
1021
原创 DAY 47 注意力热图可视化
这个注意力热图是通过构子机制： `register_forward_hook` 捕获最后一个卷积层（`conv3`）的输出特征图。1. 通道权重计算：对特征图的每个通道进行全局平均池化，得到通道重要性权重。2. 热力图生成：将高权重通道的特征图缩放至原始图像尺寸，与原图叠加显示。- 通道1可能关注整体轮廓，通道2关注纹理细节，通道3关注颜色分布。- 高关注区域（红色）：模型认为对分类最重要的区域。- 结合多个通道的热力图，可全面理解模型的决策逻辑。作业：对比不同卷积层热图可视化的结果。
2025-08-20 21:01:49
371
原创 DAY 46 通道注意力(SE注意力)
之前复试班强化部分的transformer框架那节课已经介绍过注意力机制的由来，本质从onehot-elmo-selfattention-encoder-bert这就是一条不断提取特征的路。各有各的特点，也可以说由弱到强。其中注意力机制是一种让模型学会「选择性关注重要信息」的特征提取器，就像人类视觉会自动忽略背景，聚焦于图片中的主体（如猫、汽车）。transformer中的叫做自注意力机制，他是一种自己学习自己的机制，他可以自动学习到图片中的主体，并忽略背景。
2025-08-19 20:36:13
671
原创 DAY 45 Tensorboard使用介绍
知识点回顾：tensorboard的发展历史和原理tensorboard的常见操作tensorboard在cifar上的实战：MLP和CNN模型效果展示如下，很适合拿去组会汇报撑页数：作业：对resnet18在cifar10上采用微调策略下，用tensorboard监控训练过程。PS:1.tensorboard和torch版本存在一定的不兼容性，如果报错请新建环境尝试。
2025-08-18 23:10:01
892
原创 DAY 44 预训练模型
上图的层数，代表该模型不同的版本resnet有resnet18、resnet50、resnet152；efficientnet有efficientnet-b0、efficientnet-b1、efficientnet-b2、efficientnet-b3、efficientnet-b4等。
2025-08-18 00:35:08
684
原创 DAY 42 Grad-CAM与Hook函数
知识点回顾回调函数lambda函数hook函数的模块钩子和张量钩子Grad-CAM的示例作业：理解下今天的代码即可Grad-CAM在深度学习中，我们经常需要查看或修改模型中间层的输出或梯度。然而，标准的前向传播和反向传播过程通常是一个黑盒，我们很难直接访问中间层的信息。PyTorch 提供了一种强大的工具——hook 函数，它允许我们在不修改模型结构的情况下，获取或修改中间层的信息。
2025-08-15 23:58:04
757
原创 DAY 41 简单CNN
知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层Flatten -> Dense (with Dropout，可选) -> Dense (Output)这里相关的概念比较多，如果之前没有学习过复试班强化班中的计算机视觉部分，请自行上网检索视频了解下基础概念。
2025-08-14 13:02:04
994
原创 DAY 40 训练和测试的规范写法
知识点回顾：彩色和灰度图片测试和训练的规范写法：封装在函数中展平操作：除第一个维度batchsize外全部展平dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout作业：仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。昨天我们介绍了图像数据的格式以及模型定义的过程，发现和之前结构化数据的略有不同，主要差异体现在2处1. 模型定义的时候需要展平图像。
2025-08-12 22:10:30
642
原创 DAY 39 图像数据与显存
从这里开始我们进入到了图像数据相关的部分，也是默认你有之前复试班计算机视觉相关的知识，但是一些基础的概念我仍然会提。昨天我们介绍了minist这个经典的手写数据集，作为图像数据，相较于结构化数据（表格数据）他的特点在于他每个样本的的形状并不是(特征数，)，而是(宽，高，通道数)# 先继续之前的代码from torch.utils.data import DataLoader , Dataset # DataLoader 是 PyTorch 中用于加载数据的工具。
2025-08-11 23:07:59
1007
原创 DAY 38 Dataset和Dataloader类
Dataset类：定义数据的内容和格式（即“如何获取单个样本”），包括：- 数据存储路径/来源（如文件路径、数据库查询）。- 原始数据的读取方式（如图像解码为PIL对象、文本读取为字符串）。- 样本的预处理逻辑（如裁剪、翻转、归一化等，通常通过`transform`参数实现）。- 返回值格式（如`(image_tensor, label)`）。DataLoader类：定义数据的加载方式和批量处理逻辑（即“如何高效批量获取数据”），包括：- 批量大小（`batch_size`）。
2025-08-10 22:37:08
621
原创 DAY 37 早停策略和模型权重的保存
知识点回顾：过拟合的判断：测试集和训练集同步打印指标模型的保存和加载仅保存权重保存权重和模型保存全部信息checkpoint，还包含训练状态早停策略对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略一.先学习今天的知识点仍然是循序渐进，先复习之前的代码训练集的loss在下降，但是有可能出现过拟合现象：模型过度学习了训练集的信息，导致在测试集上表现不理想。所以很自然的，我们想同步打印测试集的loss，以判断是否出现过拟合现象。
2025-08-09 17:56:33
613
原创 DAY 36 复习日
仔细回顾一下神经网络到目前的内容，没跟上进度的同学补一下进度。作业：对之前的信贷项目，利用神经网络训练下，尝试用到目前的知识点让代码更加规范和美观。探索性作业（随意完成）：尝试进入nn.Module中，查看他的方法。
2025-08-08 09:04:59
262
原创 DAY 35 模型可视化与推理
知识点回顾：1.三种不同的模型可视化方法：推荐torchinfo打印summary+权重分布可视化2.进度条功能：手动和自动写法，让打印结果更加美观3.推理的写法：评估模式作业：调整模型定义时的超参数，对比下效果。仍然是循序渐进，从基础的开始，逐渐加大深度。先回顾下之前的内容模型的推理 进度条功能 模型保存和加载。
2025-08-07 12:08:22
678
原创 DAY 34 GPU训练及类的call方法
知识点回归：CPU性能的查看：看架构代际、核心数、线程数GPU性能的查看：看显存、看级别、看架构代际GPU训练的方法：数据和模型移动到GPU device上类的call方法：为什么定义前向传播时可以直接写作self.fc1(x)ps：在训练过程中可以在命令行输入nvida-smi查看显存占用情况首先回顾下昨天的内容,我在训练开始和结束增加了time来查看运行时长。
2025-08-06 08:25:54
748
原创 DAY 33 MLP神经网络的训练
定义一个简单的全连接神经网络模型，包含一个输入层、一个隐藏层和一个输出层。定义层数+定义前向传播顺序class MLP(nn.Module): # 定义一个多层感知机（MLP）模型，继承父类nn.Moduledef __init__(self): # 初始化函数super(MLP, self).__init__() # 调用父类的初始化函数# 前三行是八股文，后面的是自定义的self.fc1 = nn.Linear(4, 10) # 输入层到隐藏层。
2025-08-05 10:24:28
935
原创 DAY 32 官方文档的阅读
很多绘图工具都是调用的底层的绘图包，所以要想绘制出想要的图表，需要先了解底层绘图包的语法。此时模型已经建模完毕，这是一个经典的三分类项目，之前在基础班的项目三提到过sklearn提供的示例数据集，不了解的同学自行百度了解下该数据。我们已经掌握了相当多的机器学习和python基础知识，现在面对一个全新的官方库，看看是否可以借助官方文档的写法了解其如何使用。可以鼠标悬停在这个类上，来查看定义这个类所需要的参数，以及每个参数的格式。参考pdpbox官方文档中的其他类，绘制相应的图，任选即可。
2025-08-04 08:54:14
753
原创 DAY 31 文件的规范拆分和写法
首先，按照机器学习的主要工作流程（数据处理、训练、评估等）将代码分离到不同的 .py 文件中。这是最基本也是最有价值的一步。然后，创建一个 utils.py 来存放通用的辅助函数。考虑将所有配置参数集中到一个 config.py 文件中。为你的数据和模型产出物创建专门的顶层目录，如 data/ 和 models/，将它们与你的源代码（通常放在 src/ 目录）分开。当遵循这些通用的拆分思路和原则时，项目结构自然会变得清晰。
2025-08-02 23:59:27
1107
原创 DAY 30 模块和库的导入
模块（Module）本质：以 .py 结尾的单个文件，包含Python代码（函数、类、变量等）。作用：将代码拆分到不同文件中，避免代码冗余，方便复用和维护。包（Package）在python里，包就是库本质：有层次的文件目录结构（即文件夹），用于组织多个模块和子包。核心特征：包的根目录下必须包含一个 __init__.py 文件（可以为空），用于标识该目录是一个包。
2025-08-01 17:14:57
954
原创 DAY 29 复习日：类的装饰器
在运行时修改类的结构（添加方法）。关键点在于：函数可以作为一等公民被赋值给类的属性。当函数被绑定为类的属性后，会自动转换为方法，接收self参数。坚持29天，很充实。对于现阶段机器学习，我认为最重要的是掌握数据分析处理流程，熟悉代码运行。学习时遇到不懂的，可以问AI，真的特别方便。在群里打卡可以交流互鉴，也为每日坚持养成良好学习习惯助力@浙大疏锦行。
2025-07-30 22:37:05
504
原创 DAY 28 类的定义和方法
之前大家已经接触过类的概念，我们也反复强调了类的实例化。类是对属性和方法的封装，可以理解为模板，通过对模板实例化可以实现调用这个类的属性和方法。比如创建一个随机森林类，然后就可以调用他的训练和预测方法。现在我们来学一下自己定义一个类，这会让我们对于类这个对象理解的更加深刻ps：类的操作很多，我们这里只说一些在深度学习领域最常见和通用的一个常见的类的定义包括了：1. 关键字class2. 类名3. 语法固定符号冒号(:)4. 一个初始化函数__init__(self)
2025-07-29 19:13:28
660
原创 DAY 27 函数专题2：装饰器
知识点回顾：装饰器的思想：进一步复用函数的装饰器写法注意内部函数的返回值友情提示：今天的内容难度较大，也是在我之前学习的时候卡住我很久都没理解的地方，所以任务量不多，着重理解我的示例代码即可昨天我们接触到了函数大部分的功能，然后在你日常ctrl点进某个复杂的项目，发现函数上方有一个@xxx,它就是装饰器装饰器本质上是一个 Python 函数，它可以让其他函数或方法在不需要做任何代码修改的前提下增加额外功能。
2025-07-28 22:03:25
786
原创 DAY 26 函数专题1：函数定义与参数
知识点回顾：函数的定义变量作用域：局部变量和全局变量函数的参数类型：位置参数、默认参数、不定参数传递参数的手段：关键词参数传递参数的顺序：同时出现三种参数类型时函数的定义函数是组织好的、可重复使用的、用于执行单一或相关联任务的代码段。在 Python 中，函数使用def关键字定义，后接函数标识符名称和圆括号()，圆括号之间可以用于定义参数。函数内容以冒号起始，并且缩进。
2025-07-27 21:08:54
611
原创 DAY 25 异常处理
知识点回顾：异常处理机制debug过程中的各类报错try-except机制try-except-else-finally机制在即将进入深度学习专题学习前，我们最后差缺补漏，把一些常见且重要的知识点给他们补上，加深对代码和流程的理解。作业：理解今日的内容即可，可以检查自己过去借助ai写的代码是否带有try-except机制，以后可以尝试采用这类写法增加代码健壮性。
2025-07-26 18:11:19
1053
原创 DAY 24 元组和OS模块
os.walk会首先访问起始目录 (my_project)，然后它会选择第一个子目录 (data) 并深入进去，访问 data 目录本身，然后继续深入它的子目录 (processed -> raw)。只有当 data 分支下的所有内容都被访问完毕后，它才会回到 my_project 这一层，去访问下一个子目录 (src)，并对 src 分支重复深度优先的探索。它不是按层级（先访问所有第一层，再访问所有第二层）进行的，而是按分支深度进行的。这种策略被称之为深度优先@浙大疏锦行。
2025-07-25 21:25:18
845
原创 DAY 23 pipeline管道
1.有序特征处理（填补缺失值+标签编码）2.标称特征处理（填补缺失值+独热编码）3.连续特征处理（填补缺失值+标准化）分别定义这三个的transformer，然后构建一个ColumnTransformer用于接收transformer列表，每个元素是 (名称, 转换器对象, 列名列表)# --- 定义不同列的类型和它们对应的预处理步骤 ---# 这些定义是基于原始数据 X 的列类型来确定的# 识别原始的 object 列 (对应你原代码中的 discrete_features 在预处理前)
2025-07-24 19:11:18
598
原创 DAY 21 常见的降维算法
PCA保留 95% 方差需 16 维，降维后随机森林精度达 84%，说明其能有效保留核心信息，适合作为预处理提升模型效率；LDA因类别数为 2，最多只能降至 1 维，仍能达到 84% 精度，说明其在分类任务中对 “类别区分信息” 的保留能力强；t-SNE降维后模型精度仅 52%，但这符合其特性 ——t-SNE 更适合可视化（展示局部聚类），而非直接作为模型输入（因破坏了全局结构）。预处理用 PCA/LDA，可视化用 t-SNE，才能最大化其价值。@浙大疏锦行。
2025-07-22 23:45:26
741
原创 DAY 20 奇异值SVD分解
奇异值分解这个理论，对于你未来无论是做图像处理、信号处理、特征提取、推荐系统等都非常重要，所以需要单独抽出来说一下这个思想。知识点回顾：线性代数概念回顾（可不掌握）奇异值推导（可不掌握）奇异值的应用特征降维：对高维数据减小计算量、可视化数据重构：比如重构信号、重构图像（可以实现有损压缩，k 越小压缩率越高，但图像质量损失越大）降噪：通常噪声对应较小的奇异值。通过丢弃这些小奇异值并重构矩阵，可以达到一定程度的降噪效果。推荐系统：在协同过滤算法中，用户-物品评分矩阵通常是稀疏且高维的。
2025-07-21 23:26:45
974
原创 DAY 19 常见的特征筛选算法
方差筛选皮尔逊相关系数筛选lasso筛选树模型重要性shap重要性递归特征消除REF作业：对心脏病数据集完成特征筛选，对比精度。
2025-07-20 18:55:07
761
原创 DAY 18 推断聚类后簇的类型
聚类后的分析：推断簇的类型知识点回顾：推断簇含义的2个思路：先选特征和后选特征通过可视化图形借助ai定义簇的含义科研逻辑闭环:通过精度判断特征工程价值作业：参考示例代码对心脏病数据集采取类似操作，并且评估特征工程后模型效果有无提升。
2025-07-19 14:30:52
1078
原创 DAY 17 常见聚类算法
今天的主题是无监督算法中的聚类，常利用聚类来发现数据中的模式，并对每一个聚类后的类别特征进行可视化，以此得到新的特征---赋予实际含义。以下是三种常用的聚类效果评估指标，分别用于衡量聚类的质量和簇的分离与紧凑程度：1. 轮廓系数定义：轮廓系数衡量每个样本与其所属簇的紧密程度以及与最近其他簇的分离程度。取值范围：[-1, 1]轮廓系数越接近 1，表示样本与其所属簇内其他样本很近，与其他簇很远，聚类效果越好。轮廓系数越接近 -1，表示样本与其所属簇内样本较远，与其他簇较近，聚类效果越差。
2025-07-18 22:01:54
1220
原创 DAY 16 数组的常见操作和形状
因为前天说了shap，这里涉及到数据形状尺寸问题，所以需要在这一节说清楚，后续的神经网络我们将要和他天天打交道。知识点：1.numpy数组的创建：简单创建、随机创建、遍历、运算2.numpy数组的索引：一维、二维、三维3.SHAP值的深入理解作业：今日知识点比较多，好好记忆下。
2025-07-17 21:33:02
836
原创 DAY 15 复习日
复习日仔细回顾一下之前14天的内容，没跟上进度的同学补一下进度。作业：尝试找到一个kaggle或者其他地方的结构化数据集，用之前的内容完成一个全新的项目，这样你也是独立完成了一个专属于自己的项目。
2025-07-16 23:57:27
716
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人