- 博客(50)
- 收藏
- 关注
原创 day49打卡
它先通过通道注意力模块评估特征通道的重要性,再通过空间注意力模块评估特征图中每个空间位置的重要性,从而更全面地提升特征表达能力。空间注意力模块类似于餐厅的“区域关注系统”,通过评估图像的空间位置(如同餐厅中的不同区域),动态调整每个位置的权重,从而突出重要的区域并抑制不重要的区域。通道注意力模块类似于餐厅的“食材评估系统”,通过评估每个食材(特征通道)的重要性,动态调整其权重,从而突出重要的特征并抑制不重要的特征。作业:尝试对今天的模型检查参数数目,并用tensorboard查看训练过程。
2025-06-09 22:53:46
295
原创 day48打卡
随机张量的生成在 PyTorch 中,torch.randn()是一个常用的随机张量生成函数,它可以创建一个由标准正态分布(均值为 0,标准差为 1)随机数填充的张量。这种随机张量在深度学习中非常实用,常用于初始化模型参数、生成测试数据或模拟输入特征。- size:必选参数,表示输出张量的形状(如(3, 4)表示 3 行 4 列的矩阵)。- dtype:可选参数,指定张量的数据类型(如torch.float32、torch.int64等)。
2025-06-09 08:11:07
332
原创 day47打卡
这个注意力热图是通过构子机制: `register_forward_hook` 捕获最后一个卷积层(`conv3`)的输出特征图。1. **通道权重计算**:对特征图的每个通道进行全局平均池化,得到通道重要性权重。2. **热力图生成**:将高权重通道的特征图缩放至原始图像尺寸,与原图叠加显示。- 向非技术人员解释模型决策依据(如“模型认为这是狗,因为关注了眼睛和嘴巴”)。- 通道1可能关注整体轮廓,通道2关注纹理细节,通道3关注颜色分布。- **高关注区域**(红色):模型认为对分类最重要的区域。
2025-06-07 21:14:32
256
原创 day46打卡
从数学角度看,注意力机制是对输入特征进行加权求和,输出=∑(输入特征×注意力权重),其中注意力权重是学习到的。但是卷积是 “固定权重” 的特征提取(如 3x3 卷积核)--训练完了就结束了,注意力是 “动态权重” 的特征提取(权重随输入数据变化)---输入数据不同权重不同。我们现在说的很多模块,比如通道注意力、空间注意力、通道注意力等等,都是基于自注意力机制的。可以看到测试集一定程度上收敛了,在85%左右(还可以继续训练的),我们后续和加了通道注意力的该模型作对比,这也意味着我们进入到了消融实验的部分了。
2025-06-06 23:14:04
512
原创 day44打卡
尝试在cifar10对比如下其他的预训练模型,观察差异,尽可能和他人选择的不同。尝试通过ctrl进入resnet的内部,观察残差究竟是什么。预训练代码实战:resnet18。图像预训练模型的发展史。常见的分类预训练模型。
2025-06-05 07:09:25
305
原创 day42打卡
模块钩子:就像是在餐厅的出菜口安装监控摄像头,每当有菜出来(前向传播结束)或订单完成(反向传播结束),钩子函数就会被触发,可以记录或修改菜品(特征图或梯度)。定义:lambda函数就像是厨房中的“快速调味料”,可以快速定义简单的匿名函数,不需要像普通函数那样写完整的def语句,特别适合简单的操作。张量钩子:类似于在食材上贴标签,当食材被使用(张量被访问或修改)时,钩子函数会被触发,可以记录或修改食材的状态(张量的值或梯度)。计算权重:根据记录的梯度计算每个特征图的权重,表示该特征图对最终分类结果的重要性。
2025-06-01 21:18:00
215
原创 day41打卡
2. Flatten -> Dense (with Dropout,可选) -> Dense (Output)1. 输入 → 卷积层 → Batch归一化层(可选) → 池化层 → 激活函数 → 下一层。batch归一化:调整一个批次的分布,常用与图像数据。特征图:只有卷积操作输出的才叫特征图。调度器:直接修改基础学习率。卷积神经网络定义的写法。
2025-06-01 21:09:08
260
原创 day40打卡
作业:仔细学习下测试和训练代码的逻辑,这是基础,这个代码框架后续会一直沿用,后续的重点慢慢就是转向模型定义阶段了。dropout操作:训练阶段随机丢弃神经元,测试阶段eval模式关闭dropout。展平操作:除第一个维度batchsize外全部展平。彩色和灰度图片测试和训练的规范写法:封装在函数中。
2025-05-30 23:01:14
481
原创 day39打卡
在 PyTorch 中,图像数据的形状通常遵循 (通道数, 高度, 宽度) 的格式(即 Channel First 格式),这与常见的 (高度, 宽度, 通道数)(Channel Last,如 NumPy 数组)不同。---注意顺序关系,例如,批量输入 10 张 MNIST 图像时,形状为 (10, 1, 28, 28)。在 PyTorch 中,模型定义和输入尺寸的指定不依赖于 batch_size,无论设置多大的 batch_size,模型结构和输入尺寸的写法都是不变的。二、 图像相关的神经网络的定义。
2025-05-29 22:14:55
164
原创 day38打卡
CIFAR(Canadian Institute for Advanced Research)数据集是深度学习领域中常用的图像分类基准数据集,由 Alex Krizhevsky、Vinod Nair 和 Geoffrey Hinton 整理。它包含两组数据集:CIFAR-10和CIFAR-100,广泛用于图像识别和计算机视觉研究。Dataset类的__getitem__和__len__方法(本质是python的特殊方法)作业:了解下cifar数据集,尝试获取其中一张图片。一、cifar数据集是什么。
2025-05-27 22:05:17
266
原创 day37打卡
作业:对信贷数据集训练后保存权重,加载权重后继续训练50轮,并采取早停策略。保存全部信息checkpoint,还包含训练状态。过拟合的判断:测试集和训练集同步打印指标。
2025-05-26 21:49:54
213
原创 day36打卡
作业:对之前的信贷项目,利用神经网络训练下,尝试用到目前的知识点让代码更加规范和美观。探索性作业(随意完成):尝试进入nn.Module中,查看他的方法。仔细回顾一下神经网络到目前的内容,没跟上进度的同学补一下进度。
2025-05-25 23:02:44
187
原创 day33打卡
1. 分类任务中,若标签是整数(如 0/1/2 类别),需转为long类型(对应 PyTorch 的torch.long),否则交叉熵损失函数会报错。2. 回归任务中,标签需转为float类型(如torch.float32)。查看显卡信息的命令行命令(cmd中使用)数据预处理(归一化、转换成张量)PyTorch和cuda的安装。继承nn.Module类。定义损失函数和优化器。
2025-05-22 22:13:44
137
原创 day32打卡
作业:参考pdpbox官方文档中的其他类,绘制相应的图,任选即可。2.官方文档的阅读和使用:要求安装的包和文档为同一个版本。1.官方文档的检索方式:github和官网。4.绘图的理解:对底层库的调用。普通方法所需要的参数。
2025-05-21 22:27:44
257
原创 day30打卡
圆周率π的值:3.141592653589793。2的平方根:1.4142135623730951。:自己新建几个不同路径文件尝试下如何导入。方式1:使用 import math。3、非标准导入:导入整个库。1、标准导入:导入整个库。2、从库中导入特征项。
2025-05-19 21:24:39
188
原创 day29打卡
复习类和函数的知识点,写下自己过去29天的学习心得,如对函数和类的理解,对python这门工具的理解等,未来再过几个专题部分我们即将开启深度学习部分。
2025-05-18 23:48:15
217
原创 day28打卡
●calculate_perimeter():计算周长(公式:2×(长+宽))。is_square() 方法,判断是否为正方形(长 == 宽)。●calculate_circumference():计算圆的周长(公式:2πr)。shape_type=“rectangle”:创建长方形(参数:长、宽)。●calculate_area():计算圆的面积(公式:πr²)。●calculate_area():计算面积(公式:长×宽)。shape_type=“circle”:创建圆(参数:半径)。
2025-05-17 22:11:21
183
原创 day27打卡
-本质是如果让一个函数具备太多功能,那么他看起来就会比较乱,可读性比较差,如果把其中一部分相同甚至可以复用的功能用一个新的函数来调用,然后让2个函数同时实现,就会做到。装饰器函数返回的是wrapper函数,所以,在调用装饰器函数的时候,返回的还是wrapper函数,而不是被修饰的函数。他是被修饰函数的外层函数,参数要大于等于被修饰函数的参数。可以看到,上述这个写法的时候,prime_nums()没有传入参数,如果函数有参数,那么必须给外部函数传入参数,也就是需要给外部的装饰器函数传入参数。
2025-05-16 22:58:11
331
原创 day26打卡
任务: 编写一个名为 describe_shape 的函数,该函数接收图形的名称 shape_name (必需),一个可选的 color (默认 “black”),以及任意数量的描述该图形尺寸的关键字参数 (例如 radius=5 对于圆,length=10, width=4 对于矩形)。任务: 编写一个名为 print_user_info 的函数,该函数接收一个必需的参数 user_id,以及任意数量的额外用户信息(作为关键字参数)。要求:shape_name 是必需的位置参数。
2025-05-15 22:55:22
768
原创 day25打卡
作业:理解今日的内容即可,可以检查自己过去借助ai写的代码是否带有try-except机制,以后可以尝试采用这类写法增加代码健壮性。在即将进入深度学习专题学习前,我们最后差缺补漏,把一些常见且重要的知识点给他们补上,加深对代码和流程的理解。
2025-05-14 21:32:44
168
原创 day21打卡
对于像 MNIST 手写数字这样的典型例子,PCA 往往倾向于展示较为模糊的整体趋势;而 t-SNE 则能清晰地区分各个类别形成紧凑且分离良好的群组3。然而需要注意的是,由于 t-SNE 过程引入了一定程度的随机性和敏感参数调整依赖性强等问题,可能导致重复运行结果不完全一致。通过减少数据的维度,不仅可以降低计算复杂度,还能帮助揭示隐藏在高维数据中的结构和模式1。能够更好地反映样本间的簇状关系,尤其擅长处理复杂的非线性边界。t-SNE 和 PCA 的可视化效果对比。降维技术的应用场景与主要用途。
2025-05-10 22:22:08
248
原创 day20打卡
对于任何矩阵(如结构化数据可以变为:样本*特征的矩阵,图像数据天然就是矩阵),均可做等价的奇异值SVD分解,对于分解后的矩阵,可以选取保留前K个奇异值及其对应的奇异向量,重构原始矩阵,可以通过计算Frobenius 范数相对误差来衡量原始矩阵和重构矩阵的差异。应用:结构化数据中,将原来的m个特征降维成k个新的特征,新特征是原始特征的线性组合,捕捉了数据的主要方差信息,降维后的数据可以直接用于机器学习模型(如分类、回归),通常能提高计算效率并减少过拟合风险。降噪:通常噪声对应较小的奇异值。
2025-05-09 20:21:08
173
原创 day17打卡
实际在论文中聚类的策略不一定是针对所有特征,可以针对其中几个可以解释的特征进行聚类,得到聚类后的类别,这样后续进行解释也更加符合逻辑。DBSCAN 的参数是 eps 和min_samples,选完他们出现k和评估指标。除了经典的评估指标,还需要关注聚类出来每个簇对应的样本个数,避免太少没有意义。聚类常见算法:kmeans聚类、dbscan聚类、层次聚类。KMeans 和层次聚类的参数是K值,选完k指标就确定。以及层次聚类的 linkage准则等都需要仔细调优。选择合适的算法,根据评估指标调参( )
2025-05-06 22:11:21
181
原创 day16打卡
例如,你有一个预测房价的模型,模型会根据房屋的面积、卧室数量、位置等特征来预测房价。SHAP 值有正有负,正的 SHAP 值表示该特征增加了模型的预测值,负的 SHAP 值表示该特征降低了模型的预测值。通过计算和分析 SHAP 值,你可以更好地理解模型是如何做出预测的,哪些特征对预测结果影响较大,从而提高模型的可解释性。简单来说,SHAP 值就像是一个 “功劳簿”,记录了每个特征在模型预测中所起到的作用。简单理解,就像把单独的数字或数字组规整的放进一个容器里,一维数组就是一列数字,二维数组就像是一个表格。
2025-05-05 21:10:16
457
原创 day14打卡
2.尝试确定一下shap各个绘图函数对于每一个参数的尺寸要求,如shap.force_plot力图中的数据需要满足什么形状?3.确定分类问题和回归问题的数据如何才能满足尺寸,分类采取信贷数据集,回归采取单车数据集。1.参考上述文档补全剩余的几个图。今日作业偏思考类型,有一定难度。
2025-05-03 23:14:58
179
原创 DAY13打卡
作业:从示例代码可以看到 效果没有变好,所以很多步骤都是理想是好的,但是现实并不一定可以变好。这个实验仍然有改进空间,如下。smote过采样是合成样本的方法,在少数类样本的特征空间中进行插值来合成新的样本。1. 尝试smote+过采样+修改权重的组合策略,有可能一起做会变好。随机过采样是从少数类中随机选择样本,并将其复制后添加到训练集。1.不平衡数据集的处理策略:过采样、修改权重、修改阈值。2. 尝试调参,有可能调参后再取上述策略可能会变好。
2025-05-03 22:48:47
278
原创 day12打卡
每个解都看成一只鸟,为“粒子”,所有粒子都有一个适应值,每一个粒子都有一个速度决定他们的飞行方向和距离,粒子们追随当前最优粒子在解空间中搜索。初始群体的产生、求每一个体的适应度、根据适者生存的原则选择优良个体、被选出来的优良个体俩俩配对,通过随机交叉其染色体的基因并随机变异某些染色体的基因生成下一代群体,按此方法使群体逐代进化,直到满足进化终止条件。作业:今天以自由探索的思路为主,尝试检索资料、视频、文档,用尽可能简短但是清晰的语言看是否能说清楚这三种算法每种算法的实现逻辑,帮助更深入的理解。
2025-05-01 20:54:27
159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅