- 博客(50)
- 收藏
- 关注
RSS订阅原创 打卡day55
劣势：经典机器学习模型（如随机森林）在处理序列数据时，难以捕捉数据的长期依赖关系和时间序列的动态特性。这就像用静态的图片来预测视频的下一帧，忽略了时间上的连贯性。经典机器学习的劣势：随机森林等经典模型在预测天气时，无法像专门的时间序列模型那样，很好地考虑天气随时间变化的规律。序列预测：就像根据过去几天的天气情况预测未来的天气，单步预测是预测明天的天气，多步预测是预测未来一周的天气。滑动窗口：类似于用一个固定的观察窗口来看过去几天的天气数据，以此为基础来预测未来的天气。这就像一次性预测未来一周的天气情况。
2025-06-20 21:45:07
254
原创 打卡day54
传统计算机视觉发展史：LeNet-->AlexNet-->VGGNet-->nceptionNet-->ResNet，之所以说传统，是因为现在主要是针对backbone-neck-head这样的范式做文章。消融实验：通过比较不同配置下的模型性能，了解每个模块对整体效果的贡献，如同测试不同烹饪步骤对菜品质量的影响。引入 CBAM 模块：通过通道和空间注意力机制，增强了模型对关键特征的关注能力，进一步提高了模型的性能。不同大小的卷积核用于提取不同尺度的特征，如同使用不同尺寸的刀具切割食材以适应不同的烹饪需求。
2025-06-15 22:03:51
396
原创 打卡day53
对于心脏病数据集，对于病人这个不平衡的样本用GAN来学习并生成病人样本，观察不用GAN和用GAN的F1分数差异。nn.sequential容器：适合于按顺序运算的情况，简化前向传播写法。对于gan的损失函数的理解，建议去找找视频看看，如果只是用，没必要学。leakyReLU介绍：避免relu的神经元失活现象。使用GAN数据增强后F1分数: 0.8955。对抗生成网络的思想：关注损失从何而来。原始F1分数: 0.8438。
2025-06-14 22:19:04
226
原创 打卡day52
这好比根据餐厅运营状况灵活调整营销策略，初始高学习率快速降低损失，后期低学习率精细调整。类似于餐厅的卫生标准，适当的卫生标准可以防止食物中毒（过拟合），但标准过高会增加运营成本。类似于餐厅的管理策略，不同的管理策略（如 SGD、Adam）会影响餐厅的运营效率和顾客满意度。批量大小：较大的批量大小可以提高训练稳定性，但会增加显存占用。定义：随机种子就像是餐厅的每日菜单，确保每次运行代码时，模型初始化和数据打乱的随机操作保持一致，方便调试和对比结果。学习率：学习率过高会导致训练不稳定，过低则训练速度慢。
2025-06-12 21:54:33
1577
原创 打卡day50
ps：今日的代码训练时长较长，3080ti大概需要40min的训练时长。尝试对vgg16+cbam进行微调策略。2、对vgg16+cbam进行微调策略。好好理解下resnet18的模型结构。1、resnet18模型结构。针对预训练模型的训练策略。CBAM放置位置的思考。resnet结构解析。
2025-06-10 23:41:26
180
原创 打卡day48
知识点回顾：随机张量的生成：torch.randn函数卷积和池化的计算公式（可以不掌握，会自动计算的）pytorch的广播机制：加法和乘法的广播机制ps：numpy运算也有类似的广播机制，基本一致作业：自己多借助ai举几个例子帮助自己理解即可随机张量的生成在 PyTorch 中，torch.randn()是一个常用的随机张量生成函数，它可以创建一个由标准正态分布（均值为 0，标准差为 1）随机数填充的张量。这种随机张量在深度学习中非常实用，常用于初始化模型参数、生成测试数据或模拟输入特征。
2025-06-08 20:58:13
1587
原创 打卡day46
什么是注意力：注意力家族，类似于动物园，都是不同的模块，好不好试了才知道。对比不同卷积层特征图可视化的结果（可选）不同CNN层的特征图：不同通道的特征图。通道注意力：模型的定义和插入的位置。通道注意力后的特征图和热力图。今日代码较多，理解逻辑即可。
2025-06-06 23:57:36
374
原创 打卡day45
实际上对目前的ai而言，你只需要先完成最简单的demo，然后让他给你加上tensorboard需要打印的部分即可。---核心是弄懂tensorboard可以打印什么信息，以及如何看可视化后的结果，把ai当成记忆大师用到的时候通过它来调取对应的代码即可。tensorboard的代码还有有一定的记忆量，实际上深度学习的经典代码都是类似于八股文，看多了就习惯了，难度远远小于考研数学等需要思考的内容。tensorboard和torch版本存在一定的不兼容性，如果报错请新建环境尝试。
2025-06-05 23:23:51
329
原创 打卡day44
其中，训练过程中，为了不破坏最开始的特征提取器的参数，最开始往往先冻结住特征提取器的参数，然后训练全连接层，大约在5-10个epoch后解冻训练。比如一些调参后表现很好的cnn神经网络（固定的神经元个数+固定的层数等）。所以调用预训练模型做微调，本质就是 用这些固定的结构+之前训练好的参数 接着训练。尝试在cifar10对比如下其他的预训练模型，观察差异，尽可能和他人选择的不同。所以需要找到预训练的模型结构并且加载模型参数。图像预训练模型的发展史。常见的分类预训练模型。预训练模型的训练策略。
2025-06-04 23:13:39
327
原创 打卡day42
模块钩子：就像是在餐厅的出菜口安装监控摄像头，每当有菜出来（前向传播结束）或订单完成（反向传播结束），钩子函数就会被触发，可以记录或修改菜品（特征图或梯度）。定义：lambda函数就像是厨房中的“快速调味料”，可以快速定义简单的匿名函数，不需要像普通函数那样写完整的def语句，特别适合简单的操作。张量钩子：类似于在食材上贴标签，当食材被使用（张量被访问或修改）时，钩子函数会被触发，可以记录或修改食材的状态（张量的值或梯度）。计算权重：根据记录的梯度计算每个特征图的权重，表示该特征图对最终分类结果的重要性。
2025-06-01 23:33:03
266
原创 打卡day41
Flatten -> Dense (with Dropout，可选) -> Dense (Output)1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层。尝试手动修改下不同的调度器和CNN的结构，观察训练的差异。batch归一化：调整一个批次的分布，常用与图像数据。特征图：只有卷积操作输出的才叫特征图。调度器：直接修改基础学习率。卷积神经网络定义的写法。
2025-05-31 23:11:46
270
原创 打卡day40
仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout。展平操作：除第一个维度batchsize外全部展平。彩色和灰度图片测试和训练的规范写法：封装在函数中。
2025-05-30 23:53:56
223
原创 打卡day39
知识点回顾图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数+梯度参数优化器参数数据批量所占显存神经元输出中间状态batchisize和训练的关系作业：今日代码较少，理解内容即可。
2025-05-29 23:17:15
662
原创 打卡day38
Dataset类的__getitem__和__len__方法（本质是python的特殊方法）了解下cifar数据集，尝试获取其中一张图片。minist手写数据集的了解。Dataloader类。
2025-05-28 23:09:21
188
原创 打卡day37
对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略。保存全部信息checkpoint，还包含训练状态。过拟合的判断：测试集和训练集同步打印指标。
2025-05-26 22:47:37
256
原创 打卡day36
作业：对之前的信贷项目，利用神经网络训练下，尝试用到目前的知识点让代码更加规范和美观。探索性作业（随意完成）：尝试进入nn.Module中，查看他的方法。仔细回顾一下神经网络到目前的内容，没跟上进度的同学补一下进度。
2025-05-25 21:47:05
232
原创 打卡day34
PyTorch中，GPU计算（如模型推理、梯度计算）与CPU操作（如 loss.item() 将GPU张量转为CPU标量、 append 到列表）是。鸢尾花数据集（150样本、4特征）和MLP模型（仅2层全连接）的计算量极小，单个epoch的GPU计算时间可能仅需 几微秒到几十微秒。losses.append(loss.item()) 是Python列表的 O(1)时间复杂度操作 （均摊时间），即使记录次数增加（如从10次到200次），CPU辅助操作的总耗时在整体训练时长中的占比极低（可能不足1%），
2025-05-23 22:27:50
792
原创 打卡day33
1. 分类任务中，若标签是整数（如 0/1/2 类别），需转为long类型（对应 PyTorch 的torch.long），否则交叉熵损失函数会报错。2. 回归任务中，标签需转为float类型（如torch.float32）。今日的代码，要做到能够手敲。这已经是最简单最基础的版本了。查看显卡信息的命令行命令（cmd中使用）数据预处理（归一化、转换成张量）PyTorch和cuda的安装。继承nn.Module类。定义损失函数和优化器。
2025-05-22 23:00:54
254
原创 打卡day31
但是Python 3.x 默认为 UTF-8 编码，理论上可以省略编码声明。models/ 目录：专门存放训练好的模型文件，根据模型保存格式不同，可能是 .pkl（Python pickle 格式，常用于保存 sklearn 模型 ）、.h5（常用于保存 Keras 模型 ）、.joblib 等。另一个是pylance，用于代码提示和类型检查，这个插件会根据你的代码中的类型注解，给出相应的提示和检查，比如你定义了一个函数，参数类型是int，那么当你传入一个字符串时，它会提示你传入的参数类型不正确。
2025-05-20 23:13:03
718
原创 打卡day29
知识点回顾类的装饰器装饰器思想的进一步理解：外部修改、动态类方法的定义：内部定义和外部定义作业：复习类和函数的知识点，写下自己过去29天的学习心得，如对函数和类的理解，对python这门工具的理解等，未来再过几个专题部分我们即将开启深度学习部分。
2025-05-18 21:51:55
271
原创 打卡day28
calculate_perimeter()：计算周长（公式：2×(长+宽)）。is_square() 方法，判断是否为正方形（长 == 宽）。calculate_circumference()：计算圆的周长（公式：2πr）。shape_type="rectangle"：创建长方形（参数：长、宽）。calculate_area()：计算圆的面积（公式：πr²）。shape_type="circle"：创建圆（参数：半径）。calculate_area()：计算面积（公式：长×宽）。
2025-05-17 22:03:50
355
原创 打卡day27
编写一个装饰器 logger，在函数执行前后打印日志信息（如函数名、参数、返回值）装饰器的思想：进一步复用。注意内部函数的返回值。
2025-05-16 23:33:09
176
原创 打卡day26
编写一个名为 calculate_circle_area 的函数，该函数接收圆的半径 radius 作为参数，并返回圆的面积。编写一个名为 calculate_average 的函数，该函数可以接收任意数量的数字作为参数（引入可变位置参数 (*args)），并返回它们的平均值。编写一个名为 print_user_info 的函数，该函数接收一个必需的参数 user_id，以及任意数量的额外用户信息（作为关键字参数）。函数的参数类型：位置参数、默认参数、不定参数。user_id 是一个必需的位置参数。
2025-05-15 23:21:54
616
原创 打卡day25
如果找到匹配的，则执行该 except 块中的代码，然后继续执行整个 try-except 结构之后的代码（除非 except 块中又引发了新异常或执行了 return/break/continue 等）。如果 try 失败：try 块中出错前的代码会执行，然后匹配的 except 块的代码会执行（else 块不会执行）。except: 如果try块中的代码确实引发了特定类型的异常（或者任何异常，如果未指定类型），则执行此代码块。else: （可选）如果try块中的代码没有发生任何异常，则执行此代码块。
2025-05-14 22:36:49
544
原创 打卡day23
整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline。ColumnTransformer和Pipeline类。转化器和估计器的概念。
2025-05-12 23:23:48
269
原创 打卡day22
自行学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码。仔细回顾一下之前21天的内容，没跟上进度的同学补一下进度。
2025-05-11 22:18:42
149
原创 打卡day21
对于像 MNIST 手写数字这样的典型例子，PCA 往往倾向于展示较为模糊的整体趋势；然而需要注意的是，由于 t-SNE 过程引入了一定程度的随机性和敏感参数调整依赖性强等问题，可能导致重复运行结果不完全一致。通过减少数据的维度，不仅可以降低计算复杂度，还能帮助揭示隐藏在高维数据中的结构和模式1。可以考虑对比下在某些特定数据集上t-sne的可视化和pca可视化的区别。还有一些其他的降维方式，也就是最重要的词向量的加工，我们未来再说。能够更好地反映样本间的簇状关系，尤其擅长处理复杂的非线性边界。
2025-05-10 23:13:15
375
原创 打卡day20
DAY 20 奇异值SVD分解奇异值分解这个理论，对于你未来无论是做图像处理、信号处理、特征提取、推荐系统等都非常重要，所以需要单独抽出来说一下这个思想。---甚至我在非常多文章中都看到单独用它来做特征提取（伪造的很高大上），学会这个思想并不复杂没学过线代的不必在意，推导可以不掌握，关注输入输出即可。今天这期有点类似于帮助大家形成闭环---考研数学不是白考的知识点回顾：线性代数概念回顾（可不掌握）奇异值推导（可不掌握）奇异值的应用特征降维：对高维数据减小计算量、可视化。
2025-05-09 23:02:03
256
原创 打卡day18
参考示例代码对心脏病数据集采取类似操作，并且评估特征工程后模型效果有无提升。推断簇含义的2个思路：先选特征和后选特征。科研逻辑闭环:通过精度判断特征工程价值。通过可视化图形借助ai定义簇的含义。聚类后的分析：推断簇的类型。
2025-05-07 21:44:15
264
原创 打卡day17
实际在论文中聚类的策略不一定是针对所有特征，可以针对其中几个可以解释的特征进行聚类，得到聚类后的类别，这样后续进行解释也更加符合逻辑。DBSCAN 的参数是 eps 和min_samples，选完他们出现k和评估指标。除了经典的评估指标，还需要关注聚类出来每个簇对应的样本个数，避免太少没有意义。聚类常见算法：kmeans聚类、dbscan聚类、层次聚类。KMeans 和层次聚类的参数是K值，选完k指标就确定。以及层次聚类的 linkage准则等都需要仔细调优。选择合适的算法，根据评估指标调参（ ）
2025-05-06 22:25:17
348
原创 打卡day16
因为前天说了shap，这里涉及到数据形状尺寸问题，所以需要在这一节说清楚，后续的神经网络我们将要和他天天打交道。numpy数组的创建：简单创建、随机创建、遍历、运算。numpy数组的索引：一维、二维、三维。：今日知识点比较多，好好记忆下。SHAP值的深入理解。
2025-05-05 21:18:22
249
原创 打卡day14
尝试确定一下shap各个绘图函数对于每一个参数的尺寸要求，如shap.force_plot力图中的数据需要满足什么形状？确定分类问题和回归问题的数据如何才能满足尺寸，分类采取信贷数据集，回归采取单车数据集。今日作业偏思考类型，有一定难度。参考上述文档补全剩余的几个图。SHAP 特征重要性条形图。SHAP 特征重要性蜂巢图。shap库可解释性分析。
2025-05-03 22:16:19
193
原创 打卡day13
从示例代码可以看到 效果没有变好，所以很多步骤都是理想是好的，但是现实并不一定可以变好。这个实验仍然有改进空间，如下。1. 我还没做smote+过采样+修改权重的组合策略，有可能一起做会变好。2. 我还没有调参，有可能调参后再取上述策略可能会变好。不平衡数据集的处理策略：过采样、修改权重、修改阈值。
2025-05-02 21:04:08
170
原创 打卡day12
的思路为主，尝试检索资料、视频、文档，用尽可能简短但是清晰的语言看是否能说清楚这三种算法每种算法的实现逻辑，帮助更深入的理解。随机选择“父母”对，交换它们的部分“基因”，产生新的“子代”个体。随机选择一个初始解，设定一个较高的初始“温度”（T）和一个温度下降规则（冷却策略）。随机生成一群“粒子”，每个粒子有其在解空间中的“位置”（代表一个解）和“速度”。根据适应度分数选择“优秀”的个体作为“父母”，适应度高的个体被选中的概率更大。随机生成一组“个体”（潜在解），每个个体包含一组“基因”（问题的参数）。
2025-05-01 20:17:36
1556
原创 打卡day11
对于信贷数据的其他模型，如LightGBM和KNN 尝试用下贝叶斯优化和网格搜索。贝叶斯优化（2种实现逻辑，以及如何避开必须用交叉验证的问题）随机搜索（简单介绍，非重点 实战中很少用到，可以不了解）time库的计时模块，方便后人查看代码运行时长。
2025-04-30 22:39:30
238
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人