<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[freyaok的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/freyaok</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; freyaok]]></copyright><item><title><![CDATA[day51打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148595500</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148595500</guid><author>freyaok</author><pubDate>Wed, 11 Jun 2025 22:22:45 +0800</pubDate><description><![CDATA[day43的时候我们安排大家对自己找的数据集用简单cnn训练，现在可以尝试下借助这几天的知识来实现精度的进一步提高。]]></description><category></category></item><item><title><![CDATA[day50打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148572636</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148572636</guid><author>freyaok</author><pubDate>Wed, 11 Jun 2025 04:48:10 +0800</pubDate><description><![CDATA[差异化学习率三阶段微调。]]></description><category></category></item><item><title><![CDATA[day49打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148544700</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148544700</guid><author>freyaok</author><pubDate>Mon, 09 Jun 2025 22:53:46 +0800</pubDate><description><![CDATA[它先通过通道注意力模块评估特征通道的重要性，再通过空间注意力模块评估特征图中每个空间位置的重要性，从而更全面地提升特征表达能力。空间注意力模块类似于餐厅的“区域关注系统”，通过评估图像的空间位置（如同餐厅中的不同区域），动态调整每个位置的权重，从而突出重要的区域并抑制不重要的区域。通道注意力模块类似于餐厅的“食材评估系统”，通过评估每个食材（特征通道）的重要性，动态调整其权重，从而突出重要的特征并抑制不重要的特征。作业：尝试对今天的模型检查参数数目，并用tensorboard查看训练过程。]]></description><category></category></item><item><title><![CDATA[day48打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148522410</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148522410</guid><author>freyaok</author><pubDate>Mon, 09 Jun 2025 08:11:07 +0800</pubDate><description><![CDATA[随机张量的生成在 PyTorch 中，torch.randn()是一个常用的随机张量生成函数，它可以创建一个由标准正态分布（均值为 0，标准差为 1）随机数填充的张量。这种随机张量在深度学习中非常实用，常用于初始化模型参数、生成测试数据或模拟输入特征。- size：必选参数，表示输出张量的形状（如(3, 4)表示 3 行 4 列的矩阵）。- dtype：可选参数，指定张量的数据类型（如torch.float32、torch.int64等）。]]></description><category></category></item><item><title><![CDATA[day47打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148500831</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148500831</guid><author>freyaok</author><pubDate>Sat, 07 Jun 2025 21:14:32 +0800</pubDate><description><![CDATA[这个注意力热图是通过构子机制： `register_forward_hook` 捕获最后一个卷积层（`conv3`）的输出特征图。1. **通道权重计算**：对特征图的每个通道进行全局平均池化，得到通道重要性权重。2. **热力图生成**：将高权重通道的特征图缩放至原始图像尺寸，与原图叠加显示。- 向非技术人员解释模型决策依据（如“模型认为这是狗，因为关注了眼睛和嘴巴”）。- 通道1可能关注整体轮廓，通道2关注纹理细节，通道3关注颜色分布。- **高关注区域**（红色）：模型认为对分类最重要的区域。]]></description><category></category></item><item><title><![CDATA[day46打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148483839</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148483839</guid><author>freyaok</author><pubDate>Fri, 06 Jun 2025 23:14:04 +0800</pubDate><description><![CDATA[从数学角度看，注意力机制是对输入特征进行加权求和，输出=∑(输入特征×注意力权重)，其中注意力权重是学习到的。但是卷积是 “固定权重” 的特征提取（如 3x3 卷积核）--训练完了就结束了，注意力是 “动态权重” 的特征提取（权重随输入数据变化）---输入数据不同权重不同。我们现在说的很多模块，比如通道注意力、空间注意力、通道注意力等等，都是基于自注意力机制的。可以看到测试集一定程度上收敛了，在85%左右（还可以继续训练的），我们后续和加了通道注意力的该模型作对比，这也意味着我们进入到了消融实验的部分了。]]></description><category></category></item><item><title><![CDATA[day45打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148483767</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148483767</guid><author>freyaok</author><pubDate>Fri, 06 Jun 2025 23:03:43 +0800</pubDate><description><![CDATA[对resnet18在cifar10上采用微调策略下，用tensorboard监控训练过程。]]></description><category></category></item><item><title><![CDATA[day44打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148438696</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148438696</guid><author>freyaok</author><pubDate>Thu, 05 Jun 2025 07:09:25 +0800</pubDate><description><![CDATA[尝试在cifar10对比如下其他的预训练模型，观察差异，尽可能和他人选择的不同。尝试通过ctrl进入resnet的内部，观察残差究竟是什么。预训练代码实战：resnet18。图像预训练模型的发展史。常见的分类预训练模型。]]></description><category></category></item><item><title><![CDATA[day43打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148386826</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148386826</guid><author>freyaok</author><pubDate>Mon, 02 Jun 2025 21:11:47 +0800</pubDate><description><![CDATA[kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。进阶：并拆分成多个文件。]]></description><category></category></item><item><title><![CDATA[day42打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148370496</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148370496</guid><author>freyaok</author><pubDate>Sun, 01 Jun 2025 21:18:00 +0800</pubDate><description><![CDATA[模块钩子：就像是在餐厅的出菜口安装监控摄像头，每当有菜出来（前向传播结束）或订单完成（反向传播结束），钩子函数就会被触发，可以记录或修改菜品（特征图或梯度）。定义：lambda函数就像是厨房中的“快速调味料”，可以快速定义简单的匿名函数，不需要像普通函数那样写完整的def语句，特别适合简单的操作。张量钩子：类似于在食材上贴标签，当食材被使用（张量被访问或修改）时，钩子函数会被触发，可以记录或修改食材的状态（张量的值或梯度）。计算权重：根据记录的梯度计算每个特征图的权重，表示该特征图对最终分类结果的重要性。]]></description><category></category></item><item><title><![CDATA[day41打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148370429</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148370429</guid><author>freyaok</author><pubDate>Sun, 01 Jun 2025 21:09:08 +0800</pubDate><description><![CDATA[2. Flatten -> Dense (with Dropout，可选) -> Dense (Output)1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层。batch归一化：调整一个批次的分布，常用与图像数据。特征图：只有卷积操作输出的才叫特征图。调度器：直接修改基础学习率。卷积神经网络定义的写法。]]></description><category></category></item><item><title><![CDATA[day40打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148346348</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148346348</guid><author>freyaok</author><pubDate>Fri, 30 May 2025 23:01:14 +0800</pubDate><description><![CDATA[作业：仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout。展平操作：除第一个维度batchsize外全部展平。彩色和灰度图片测试和训练的规范写法：封装在函数中。]]></description><category></category></item><item><title><![CDATA[day39打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148318939</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148318939</guid><author>freyaok</author><pubDate>Thu, 29 May 2025 22:14:55 +0800</pubDate><description><![CDATA[在 PyTorch 中，图像数据的形状通常遵循 (通道数, 高度, 宽度) 的格式（即 Channel First 格式），这与常见的 (高度, 宽度, 通道数)（Channel Last，如 NumPy 数组）不同。---注意顺序关系，例如，批量输入 10 张 MNIST 图像时，形状为 (10, 1, 28, 28)。在 PyTorch 中，模型定义和输入尺寸的指定不依赖于 batch_size，无论设置多大的 batch_size，模型结构和输入尺寸的写法都是不变的。二、 图像相关的神经网络的定义。]]></description><category></category></item><item><title><![CDATA[day38打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148266049</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148266049</guid><author>freyaok</author><pubDate>Tue, 27 May 2025 22:05:17 +0800</pubDate><description><![CDATA[CIFAR（Canadian Institute for Advanced Research）数据集是深度学习领域中常用的图像分类基准数据集，由 Alex Krizhevsky、Vinod Nair 和 Geoffrey Hinton 整理。它包含两组数据集：CIFAR-10和CIFAR-100，广泛用于图像识别和计算机视觉研究。Dataset类的__getitem__和__len__方法（本质是python的特殊方法）作业：了解下cifar数据集，尝试获取其中一张图片。一、cifar数据集是什么。]]></description><category></category></item><item><title><![CDATA[day37打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148240352</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148240352</guid><author>freyaok</author><pubDate>Mon, 26 May 2025 21:49:54 +0800</pubDate><description><![CDATA[作业：对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略。保存全部信息checkpoint，还包含训练状态。过拟合的判断：测试集和训练集同步打印指标。]]></description><category></category></item><item><title><![CDATA[day36打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148215660</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148215660</guid><author>freyaok</author><pubDate>Sun, 25 May 2025 23:02:44 +0800</pubDate><description><![CDATA[作业：对之前的信贷项目，利用神经网络训练下，尝试用到目前的知识点让代码更加规范和美观。探索性作业（随意完成）：尝试进入nn.Module中，查看他的方法。仔细回顾一下神经网络到目前的内容，没跟上进度的同学补一下进度。]]></description><category></category></item><item><title><![CDATA[day35打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148193549</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148193549</guid><author>freyaok</author><pubDate>Sat, 24 May 2025 17:21:27 +0800</pubDate><description><![CDATA[作业：调整模型定义时的超参数，对比下效果。]]></description><category></category></item><item><title><![CDATA[day34打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148177027</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148177027</guid><author>freyaok</author><pubDate>Fri, 23 May 2025 22:12:08 +0800</pubDate><description><![CDATA[【代码】day34打卡。]]></description><category></category></item><item><title><![CDATA[day33打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148150455</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148150455</guid><author>freyaok</author><pubDate>Thu, 22 May 2025 22:13:44 +0800</pubDate><description><![CDATA[1. 分类任务中，若标签是整数（如 0/1/2 类别），需转为long类型（对应 PyTorch 的torch.long），否则交叉熵损失函数会报错。2. 回归任务中，标签需转为float类型（如torch.float32）。查看显卡信息的命令行命令（cmd中使用）数据预处理（归一化、转换成张量）PyTorch和cuda的安装。继承nn.Module类。定义损失函数和优化器。]]></description><category></category></item><item><title><![CDATA[day32打卡]]></title><link>https://blog.youkuaiyun.com/freyaok/article/details/148125593</link><guid>https://blog.youkuaiyun.com/freyaok/article/details/148125593</guid><author>freyaok</author><pubDate>Wed, 21 May 2025 22:27:44 +0800</pubDate><description><![CDATA[作业：参考pdpbox官方文档中的其他类，绘制相应的图，任选即可。2.官方文档的阅读和使用：要求安装的包和文档为同一个版本。1.官方文档的检索方式：github和官网。4.绘图的理解：对底层库的调用。普通方法所需要的参数。]]></description><category></category></item></channel></rss>