- 博客(51)
- 收藏
- 关注
RSS订阅原创 DAY49打卡
通用性强：与 SE 等注意力模块类似，CBAM 也属于“即插即用”型模块，适用于广泛的 CNN 架构（如 ResNet, YOLO 等）。二者协同工作，使模型能够同时学习“关注什么内容”和“在何处关注”，从而实现了更全面、更强大的特征表达能力提升。双重优化：同时提升特征在通道维度和空间维度的质量，在处理复杂任务（如小目标检测、语义分割）时效果尤为显著。SE 的局限：SE 仅聚焦于学习“哪些通道重要”，而忽略了“重要信息在空间中的具体位置”。通过空间注意力定位“在空间中的哪个位置关注”。
2025-06-12 22:01:47
250
原创 DAY48打卡
当对两个形状不同的张量进行运算（如加法、乘法）时，广播机制会尝试将它们的维度对齐，通过 “扩展” 较小的张量，使其形状与较大的张量兼容，从而实现逐元素运算。：让较小的张量在维度上 “广播”（复制）自己，直到与较大张量的形状匹配，同时不实际占用额外内存（多数框架会通过计算图优化实现隐式广播）。最后两个维度必须满足：A.shape[-1]==B.shape[-2](即A的列数等于B的行数)其他维度（批量维度）：遵循通用广播规则。（可以不掌握，会自动计算的）＋批量矩阵与单个矩阵相乘。
2025-06-11 22:14:59
744
原创 DAY47打卡
1. 上图↑ 进行特征逐层抽象：从“看得见的细节”（conv1）→ “局部结构”（conv2）→ “类别相关的抽象模式”（conv3），模型通过这种方式实现从“看图像”到“理解语义”的跨越。这个注意力热图是通过构子机制： `register_forward_hook` 捕获最后一个卷积层（`conv3`）的输出特征图。热力图（红色表示高关注，蓝色表示低关注）半透明覆盖在原图上。- 通道1可能关注整体轮廓，通道2关注纹理细节，通道3关注颜色分布。- **高关注区域**（红色）：模型认为对分类最重要的区域。
2025-06-10 23:10:39
650
原创 DAY46打卡
transformer中的叫做自注意力机制，他是一种自己学习自己的机制，他可以自动学习到图片中的主体，并忽略背景。我们现在说的很多模块，比如通道注意力、空间注意力、通道注意力等等，都是基于自注意力机制的。想要把通道注意力插入到模型中，关键步骤如下：1. 定义注意力模块2. 重写之前的模型定义部分，确定好模块插入的位置。注意力机制是一种让模型学会「选择性关注重要信息」的特征提取器，就像人类视觉会自动忽略背景，聚焦于图片中的主体（如猫、汽车）。不同CNN层的特征图：不同通道的特征图。进行通道注意力的插入。
2025-06-10 22:33:33
302
原创 DAY45打卡
tensorboard这个可视化工具，他可以很方便的很多可视化的功能，尤其是他可以在运行过程中实时渲染，方便我们根据图来动态调整训练策略，而不是训练完了才知道好不好。tensorboard的核心代码解析。
2025-06-05 23:33:55
241
原创 DAY42打卡
它通过计算特征图的梯度来生成类激活映射（Class Activation Mapping，简称 CAM ），直观地显示图像中哪些区域对模型的特定预测贡献最大。Grad-CAM 的核心思想是：通过反向传播得到的梯度信息，来衡量每个特征图对目标类别的重要性。1. 梯度信息：通过计算目标类别对特征图的梯度，得到每个特征图的重要性权重。3. 可视化：将激活映射叠加到原始图像上，高亮显示对预测最关键的区域。2. 特征加权：用这些权重对特征图进行加权求和，得到类激活映射。hook函数的模块钩子和张量钩子。
2025-06-01 17:24:10
378
原创 DAY41
Flatten -> Dense (with Dropout，可选) -> Dense (Output)1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层。尝试手动修改下不同的调度器和CNN的结构，观察训练的差异。batch归一化：调整一个批次的分布，常用与图像数据。特征图：只有卷积操作输出的才叫特征图。调度器：直接修改基础学习率。DAY 41 简单CNN。卷积神经网络定义的写法。
2025-05-31 23:44:46
179
1
原创 DAY40打卡
这个模型结构是一个简单的全连接神经网络，用于处理输入大小为 28×28（即 784 个特征）的数据，通常用于 MNIST 手写数字识别任务。训练和测试的规范写法。
2025-05-30 14:02:44
305
原创 DAY36打卡@浙大疏锦行
下降趋势较为明显，且下降速度较快，在训练后期损失值稳定在较低水平。配置3的学习率为0.1，隐藏层大小为5，优化器为SGD，较高的学习率可能使模型在前期能快速调整参数，不过由于隐藏层神经元较少，模型复杂度有限，后期收敛优势没有配置2明显，但总体也取得了较好的效果。从训练损失对比图可以看出，三条曲线分别代表三种不同超参数配置下模型训练过程中损失值（Loss）随训练轮次（Epoch）的变化情况，且三条曲线的损失值都随着Epoch的增加呈下降趋势，说明三种配置下模型都在学习，逐渐降低预测值与真实值之间的差异。
2025-05-25 20:08:26
569
原创 DAY35作业
知识点回顾：三种不同的模型可视化方法：推荐torchinfo打印summary+权重分布可视化进度条功能：手动和自动写法，让打印结果更加美观推理的写法：评估模式作业：调整模型定义时的超参数，对比下效果。
2025-05-25 14:16:06
390
原创 DAY34打卡
GPU 性能发挥依赖驱动程序，若驱动不完善或版本不匹配，会影响其性能；并且，若软件对 GPU 并行计算优化不足，未充分利用其架构优势，也会导致 GPU 性能受限。：利用 GPU 并行计算需特定编程模型（如 CUDA ）编写并行代码，若代码编写不佳，无法发挥 GPU 并行计算能力；@浙大疏锦行 在下载cudnn需要注册官网的时候，如果出现注册验证码不显示的情况，把chorme浏览器改成默认浏览器即可解决。CPU性能的查看：看架构代际、核心数、线程数。GPU性能的查看：看显存、看级别、看架构代际。
2025-05-24 16:48:07
272
原创 DAY33打卡
1. 分类任务中，若标签是整数（如 0/1/2 类别），需转为long类型（对应 PyTorch 的torch.long），否则交叉熵损失函数会报错。2. 回归任务中，标签需转为float类型（如torch.float32）。定义一个简单的全连接神经网络模型，包含一个输入层、一个隐藏层和一个输出层。作业：今日的代码，要做到能够手敲。这已经是最简单最基础的版本了。2.查看显卡信息的命令行命令（cmd中使用）i.继承nn.Module类。iii.定义前向传播流程。c.定义损失函数和优化器。
2025-05-22 23:55:22
187
原创 DAY32打卡
3. 官方文档：https://pdpbox.readthedocs.io/en/latest/大多数 Python 库都会有官方文档，里面包含了函数的详细说明、用法示例以及版本兼容性信息。1. GitHub 仓库：https://github.com/SauceCat/PDPbox。2. PyPI 页面：https://pypi.org/project/PDPbox/现在我们对这个模型进行解释性分析 我的作业选择用第三个。
2025-05-21 21:30:30
284
原创 DAY30
3.导入库/模块的核心逻辑：找到根目录（python解释器的目录和终端的目录不一致）作业：自己新建几个不同路径文件尝试下如何导入。2.导入自定义库/模块的方式。1.导入官方库的三种手段。
2025-05-19 16:57:51
154
原创 DAY29
在将近30天的学习中，我对python有了了解，以前从来没有接触过，所以会觉得很困难，很大程度上要依赖教案和ai，但是坚持下来就是胜利。如对函数和类的理解，对python这门工具的理解等，未来。
2025-05-18 14:55:22
240
原创 DAY 26 函数专题1
编写一个名为 calculate_circle_area 的函数，该函数接收圆的半径 radius 作为参数，并返回圆的面积。编写一个名为 calculate_average 的函数，该函数可以接收任意数量的数字作为参数（引入可变位置参数 (*args)），并返回它们的平均值。编写一个名为 print_user_info 的函数，该函数接收一个必需的参数 user_id，以及任意数量的额外用户信息（作为关键字参数）。如果长度或宽度为负数，函数应该返回 0。的函数，该函数接收图形的名称。
2025-05-15 13:38:59
828
原创 DAY25
2. 避免意外捕获： 如果把“成功后的后续步骤”也放在 try 块里，而这些步骤本身也可能引发 try 块想要捕获的同类型异常，那么就会导致逻辑混淆。else 块中的代码不会被同一个 try 块的 except 子句捕获。理解今日的内容即可，可以检查自己过去借助ai写的代码是否带有try-except机制，以后可以尝试采用这类写法增加代码健壮性。在即将进入深度学习专题学习前，我们最后差缺补漏，把一些常见且重要的知识点给他们补上，加深对代码和流程的理解。- try: 包含可能引发异常的代码。
2025-05-14 19:38:44
471
原创 DAY23打卡
◦ 常见转化器：StandardScaler、OneHotEncoder、SimpleImputer等。◦ 常见估计器：RandomForestClassifier、LogisticRegression等。◦ fit(X, y=None)：学习数据的统计特性（如均值、标准差等）◦ transform(X)：应用学习到的变换处理新数据。◦ 优点：简化工作流程、避免数据泄露、便于交叉验证。◦ fit(X, y)：基于训练数据学习模型参数。◦ predict(X)：对新数据进行预测。1.转化器和估计器的概念。
2025-05-12 14:22:04
322
原创 DAY22打卡
Kaggle's Competitions 如何运作： 1.加入竞赛 阅读有关挑战描述的信息,接受竞赛规则并访问竞赛数据集。2.开始工作 下载数据,在本地或Kaggle内核(我们的无设置,可定制的Jupyter Notebooks环境与免费GPU)上构建模型,并生成预测文件。3.提交 将您的预测作为提交上传到Kaggle,并获得准确度评分。4.查看排行榜 了解您的模型如何与我们排行榜上的其他 Kagglers 进行排名。自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码。
2025-05-12 00:05:27
165
原创 20DAY打卡
SVD (或其变种如 FunkSVD, SVD++) 可以用来分解这个矩阵，发现潜在因子 (latent factors)，从而预测未评分的项。：在进行 SVD 之前，通常需要对数据进行标准化（均值为 0，方差为 1），以避免某些特征的量纲差异对降维结果的影响。保留 k=8 后的 Vt_k 矩阵形状: (8, 13) 降维后训练集形状: (242, 8)（如结构化数据可以变为：样本*特征的矩阵，图像数据天然就是矩阵），新特征是原始特征的线性组合，捕捉了数据的主要方差信息。降维后测试集形状: (61, 8)
2025-05-09 15:14:38
316
原创 DAY19打卡
它的核心逻辑是：特征的方差反映了数据的变化程度，方差很小的特征几乎没有变化，对模型的预测帮助不大。因此，方差筛选会设定一个方差阈值，剔除方差低于这个阈值的特征，保留那些变化较大的特征，从而减少特征数量，提高模型效率。所以在面对高维特征的时候常常需要引入特征降维，我们之前课程中的项目的特征也就小几十个，不太需要做降维，对于某些特征较多的数据，如基因数据、微生物数据、传感器数据等，特征较多，所以会考虑特征降维。1. 特征筛选：从n个特征中筛选出m个特征，比如方差筛选，剔除方差过小的特征；这种方法特别适合处理。
2025-05-08 22:24:12
332
原创 接day18
• 定义：该簇可能代表老年人群，随着年龄的增长，身体各器官功能逐渐衰退，更容易患上心脏病等慢性疾病。• 定义：此簇可能代表中年人群，由于生活压力、不良生活习惯（如吸烟、酗酒、缺乏运动等）或遗传因素，导致血压和胆固醇水平升高，患心脏病的风险相对较高。• 除了所选的age、trestbps、chol等特征外，还可以考虑其他特征，如性别、运动情况、家族病史等，以更全面地定义每个簇。1. 查看特征统计量：通过计算每个簇中所选特征的均值、中位数、标准差等统计量，了解各特征在不同簇中的分布情况。簇 1：中年高风险簇。
2025-05-08 10:34:12
276
原创 DAY17打卡 2025.5.6
轮廓系数越接近 **-1**，表示样本与其所属簇内样本较远，与其他簇较近，聚类效果越差（可能被错误分类）。- **需预先指定 `k` 值**：对簇数量 `k` 的选择敏感，不合适的 `k` 会导致聚类效果较差。- 轮廓系数越接近 **1**，表示样本与其所属簇内其他样本很近，与其他簇很远，聚类效果越好。- **定义**：DB 指数衡量簇间距离与簇内分散度的比值，用于评估簇的分离度和紧凑度。- **定义**：CH 指数是簇间分散度与簇内分散度之比，用于评估簇的分离度和紧凑度。
2025-05-06 22:42:12
748
原创 DAY16打卡 2025.5.5
一维数组：单行排列，类似一条直线（只有行，没有列）二维数组：类似 Excel 表格，有行和列两个方向。三维数组：立方体结构，有层、行、列三个方向。4.创建从1到10的数组（不包含10）1.了解一维数组、二维数组、三维数组。3.创建全零矩阵和全1数组。5.数组的随机化创建。
2025-05-05 22:52:37
303
原创 DAY14 打卡 2025.5.3
机器学习模型可以视为黑盒。比如某个模型要进行一些预测任务，首先对模型输入一些已知条件，然后模型根据输入进行训练，最终训练完的模型可以对该条件输出预测结果；而SHAP模型就可以让我们知道这些已知条件到底对最终预测结果起到哪些影响（是对结果起到正向影响还是对结果起到了负向影响）。
2025-05-03 23:58:34
284
原创 day13打卡 2025.5.2
假设模型把所有样本都预测为多数类，可能得到很高准确率，但对少数类毫无识别能力，此时准确率无法体现模型对少数类的预测效果。• 过采样：增加少数类样本数量，如随机过采样，从少数类样本中随机采样复制生成新样本；以信用卡欺诈检测为例，正常交易记录数量极多，而欺诈交易记录数量极少，可能正常交易与欺诈交易的比例达到 99 : 1 甚至更高。• 欠采样：减少多数类样本数量，如随机欠采样，从多数类中随机选择部分样本丢弃，使各类别样本数量接近。• 综合采样：结合过采样和欠采样策略，先对多数类欠采样，再对少数类过采样。
2025-05-02 22:02:38
363
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人