- 博客(56)
- 收藏
- 关注
RSS订阅原创 Day59
• 常用方式：结合ARIMA等模型提取线性特征（趋势、季节性），再用机器学习模型（如随机森林、XGBoost）捕捉残差中的非线性关系，提升预测精度。• VAR（向量自回归）：适用于多个内生变量，考虑变量间的双向依赖关系（如GDP与消费相互影响），通过滞后项捕捉变量间的动态关系。◦ 非季节性部分：(p, d, q)，其中p为自回归项数，d为差分次数（使序列平稳），q为移动平均项数。• 内生变量：模型中被解释的变量，其变化由模型内其他变量影响（如预测销量时，销量本身是内生变量）。
2025-07-12 23:23:26
320
原创 Day58
公式：Δ_s y_t = y_t - y_{t-s}（如月度数据s=12，即今年1月减去年1月），可结合n阶差分使用（先去趋势再去季节，或反之）。◦ 摘要图关注：各参数（含季节项）的p值（＜0.05说明显著）；◦ 航空乘客（AirPassengers）：144个数据点（12年×12月），随时间增长（趋势），且每年夏季乘客更多（季节性），是展示时序特征的典型案例。◦ 定d：对数据做1阶差分（y_t - y_{t-1}），若仍非平稳则做2阶（极少超过2阶），直到ADF检验显著（p≤0.05）。
2025-07-11 23:57:45
522
原创 Day57
• CO2 Concentration（大气二氧化碳浓度）：来源于夏威夷莫纳罗亚天文台的月度测量数据（1958年至今），包含显著的上升趋势和季节性波动，是气候变化研究的典型案例。• Nile River Flow（尼罗河年流量）：包含1871年至1970年的年流量记录，共100个观测值，可用于研究水文时间序列的周期性和突变点。• 趋势性：随着时间推移，乘客数量有非常明显的线性增长趋势，从1949年的约112千人增长到1960年的约562千人。检索下经典的时序单变量数据集有哪些，选择一个尝试观察其性质。
2025-07-10 23:04:34
348
原创 Day 56
• 偏自相关性检验（PACF检验）：通过偏自相关函数（PACF）剔除中间变量影响，直接反映序列在特定滞后阶数下的相关性，白噪声的PACF值也接近0。• 单位根ADF检验：用于检验序列是否平稳，原假设为“存在单位根（非平稳）”，检验统计量越小（越负），越容易拒绝原假设，即序列越可能平稳。• 定义：序列的统计特性（均值、方差、自相关系数等）不随时间变化，分为严平稳（所有统计特性不变）和弱平稳（均值、方差、自相关系数不变）。◦ 显著水平（α）：预先设定的拒绝原假设的阈值（如0.05），当P值≤α时拒绝原假设。
2025-07-09 23:01:07
189
原创 day55
比如有数据[1,2,3,4,5,6]，窗口大小设为3，滑动步长1，就会得到窗口[1,2,3]预测4、[2,3,4]预测5、[3,4,5]预测6，这样能把序列数据变成适合模型学习的样本。思路是让模型同时学习多个输入和输出之间的关系，比如用温度、湿度、风速（多输入）同时预测未来的温度、降雨量（多输出），模型在训练时会综合考虑所有输入对所有输出的影响。• 不擅长捕捉序列的时间依赖关系：随机森林处理的是独立样本，无法理解数据的先后顺序（比如今天的气温和昨天的关联）。比如根据前7天的气温，只预测第8天的气温。
2025-07-08 22:45:29
190
原创 da y54
在CIFAR-10数据集（含10类小尺寸图像）上，Inception网络的表现受具体版本和训练配置影响，测试精度通常在87% - 96%之间。transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # 标准化到 [-1, 1]model.fc = nn.Linear(model.fc.in_features, 10) # 修改最后一层为 CIFAR-10 的 10 类。print(f"最终测试准确率: {test_accuracy:.2f}%")
2025-07-07 23:52:30
293
原创 day53
print(f"特征维度: {scaled_features.shape[1]}") # 鸢尾花数据集固定为4维特征。nn.Linear(latent_dim, 16), # 从潜在空间映射到16维。nn.Linear(32, 4), # 输出4维特征（与真实数据一致）f"判别器损失: {dis_loss.item():.4f}, "nn.Linear(16, 32), # 进一步映射到32维。nn.Linear(32, 16), # 压缩到16维。
2025-07-06 22:23:30
454
原创 Day52
2. 参数分类：参数分超参数（外参，手动指定，无需数据驱动 ）与内参；超参数又分网络参数（网络层交互、卷积核、层数、激活函数等 ）、优化参数（学习率、批样本量、优化器参数等 ）、正则化参数（权重衰减系数、dropout比率 ）。◦ 损失函数：分类任务用交叉熵（多分类 ）、二元交叉熵（二分类 ）、Focal Loss（类别不平衡 ）等；调参提升有限，优先数据与特征工程；1. 调参前提：因固定超参数训练已耗时，通常不用传统机器学习超参数方法（网格、贝叶斯等 ），工业界卡多或探究新架构时，多手动调参。
2025-07-05 22:47:19
344
原创 Day50
简单说，ResNet18就像用8个“残差块积木”（每个含2层卷积）搭起来的网络，加上开头和结尾的处理层，总共18层卷积，靠“抄近道”的残差连接实现了深层网络的有效训练。这样设计的好处：避免深层网络“学不到东西”，让网络更关注“输入和输出的差异”（残差），训练更高效。• 一个“跳跃连接”：把输入直接加到两层卷积的输出上（像给网络“抄近道”）◦ 第1组：2个残差块（共4层卷积）◦ 第2组：2个残差块（共4层卷积）◦ 第3组：2个残差块（共4层卷积）◦ 第4组：2个残差块（共4层卷积）整体结构（共18层卷积）
2025-07-03 23:27:40
292
原创 day49
其核心思路是：对输入的特征图进行处理，生成一个与特征图尺寸相同的空间注意力权重图（每个位置的权重表示该位置的重要程度），然后将权重图与原始特征图进行逐元素相乘，使重要空间位置的特征得到增强，不重要的被弱化。• 将两个单通道特征图拼接，通过一个卷积层（通常为1×1卷积）压缩通道数至1，再经sigmoid激活函数生成空间注意力权重图。• 对特征图沿通道维度进行最大池化和平均池化，得到两个单通道特征图（分别保留通道维度的最大响应和平均响应）。• 最后将权重图与输入特征图相乘，输出空间增强后的特征图。
2025-07-02 22:49:40
321
原创 day48
• 卷积：比如用一个3×3的卷积核扫过5×5的图片，步长为1，边缘不填充（padding=0），最后得到的结果是3×3（5-3+1=3）。• 池化：比如对4×4的特征图做2×2的最大池化，步长为2，结果是2×2（4÷2=2）。A扩展成[[1,2,3], [1,2,3]]（2×3），B扩展成[[4,4,4], [5,5,5]]（2×3），结果是[[5,6,7], [6,7,8]]。torch.randn会生成符合标准正态分布（均值为0，标准差为1）的随机数张量，形状由输入的参数决定。ai举例子通俗易懂理解。
2025-07-01 23:23:51
267
原创 Day47
示例场景：在识别“骑自行车的人”时，浅层热图可能高亮车轮的圆形边缘和车架线条，深层热图则高亮“人+自行车”的整体形态，甚至聚焦于“骑车动作”的语义特征。• 模型解释：通过热图可理解模型“关注什么”，浅层看细节，深层看语义，帮助发现模型是否“误判”（如因背景纹理而非物体本身做出决策）。覆盖范围更集中，通常只响应图像中与目标类别最相关的局部区域（如分类任务中，狗的面部区域）。✅ 示例：可视化结果可能高亮显示物体的轮廓（如猫的耳朵边缘）、条纹纹理（如斑马的花纹）。2. 深层卷积层（如Conv4-Conv5）
2025-06-30 23:04:19
218
原创 day46
就像人看东西会盯着重点看，模型通过注意力机制“聚焦”关键信息。不同注意力模块（通道、空间等）像不同工具，效果好不好得实际用了才知道。用颜色深浅显示哪些通道被重点关注，颜色亮的地方就是模型觉得“关键”的区域（比如识别猫时，热力图会高亮脸部区域）。大小不变，但重要通道的特征会变强（比如猫的胡须通道数值更高），无关的变弱。• 深层通道抓复杂特征（比如识别眼睛、车轮这些部件）。先把特征图压缩，看看每个通道在整体里的重要性；给重要的通道“加buff”，不重要的“弱化”。1.CNN不同通道的特征图。
2025-06-29 23:23:33
253
原创 day45
要在CIFAR10数据集上对ResNet18进行微调并使用TensorBoard监控，需完成环境配置、数据处理、模型微调、训练配置及可视化设置等关键步骤。通过上述方案，可有效在CIFAR10上微调ResNet18，并通过TensorBoard全面监控训练过程，直观分析模型性能变化与特征学习情况。# 原卷积参数：in_channels=3, out_channels=64, kernel_size=7。◦ 冻结前两层卷积（layer1和layer2），仅微调后两层（layer3、layer4）及全连接层。
2025-06-28 23:32:03
550
原创 Day44
train_loop = tqdm(train_loader, desc=f"[训练] Epoch {epoch}/{total_epochs}", leave=False)print(f"[评估] Epoch {epoch} | 测试损失: {avg_loss:.4f} | 准确率: {accuracy:.2f}%")print(f"[实验] {model_tag} 完成，总耗时: {end_time - start_time:.2f} 秒")2. 常见模型：图像有AlexNet、ResNet、ViT；
2025-06-27 23:28:19
572
原创 day42
1. 回调函数：把一个函数当成“任务清单”交给另一个函数，等后者干完活，就按清单执行这个函数。比如点外卖后留电话，骑手送到了就打电话（执行回调）通知你。2. lambda函数：临时写的超短函数，不用单独取名字。像lambda x: x+1，意思就是“给个数，加1再返回”，适合用一次就扔的简单计算。◦ 模块钩子：在神经网络里，给某个层装个“监控摄像头”，前向或反向传播时偷偷记录数据，比如看看某层输出长啥样。◦ 张量钩子：给数据块（张量）贴个“小纸条”，它被计算时就触发纸条上的指令，能用来检查数据有没有算错。
2025-06-25 23:12:17
255
原创 day41
self.conv1 = nn.Conv2d(1, 32, 3) # 通道数翻倍补偿层数减少。x = x * self.se(x) # 应用注意力。# 修改2：增加注意力（简单通道注意力）# 修改1：减少卷积层（1层卷积）# 训练函数（支持不同调度器）# 原始模型（2层卷积）
2025-06-24 22:25:22
1321
原创 Day40
2. 展平操作要点：使用nn.Flatten(1)展平图像，仅保留batch维度，其余维度（通道、高、宽）全部展开。1. 图像训练测试封装：将彩色/灰度图片的训练和测试逻辑封装为独立函数，保证代码模块化。◦ 训练时用model.train()激活Dropout，随机丢弃神经元防过拟合；◦ 测试时用model.eval()关闭Dropout，确保输出稳定。
2025-06-23 23:18:05
186
原创 Day39
总结：理解数据格式、模型结构、显存分配和 batch size 的影响，能更高效地训练深度学习模型。平衡点：需根据硬件（显存）和模型效果调整，通常通过实验选择最佳 batch size。彩色数据：三通道（RGB，3个维度），每个通道代表红、绿、蓝的强度。灰度数据：单通道（1个维度），像素值通常为0~255，表示亮度。d. 神经元输出中间状态：前向传播时各层的输出（用于反向传播）。c. 数据批量所占显存：输入数据（batch）的存储空间。显存占用增加（需存储更多数据、中间变量）。3. 显存占用的4种地方。
2025-06-22 23:15:30
205
原创 day38
image = train_images[0] # 形状为(32, 32, 3)label = train_labels[0][0] # 标签编号。# 加载数据集（首次运行会自动下载）
2025-06-21 23:41:19
180
原创 day37
criterion = nn.BCELoss() # 二分类任务，如果是回归任务使用MSELoss。input_size = X_train.shape[1] # 特征维度。additional_epochs = 50 # 继续训练的轮数。print("未找到预训练权重，从头开始训练")print("成功加载预训练权重")print("训练完成，模型权重已保存")# 4. 初始化模型、损失函数和优化器。# 5. 加载预训练权重（如果存在）# 保存最佳模型权重。# 8. 保存最终模型权重。
2025-06-20 22:55:52
275
原创 day36
criterion = nn.MSELoss() # 使用MSE作为损失函数。# 将概率转换为类别预测 (0或1)# 对Purpose进行one-hot编码。# 计算精确率、召回率和F1分数。# 转换为PyTorch张量。# 划分训练集和测试集。# 损失函数和优化器。
2025-06-19 23:14:22
427
原创 day35
切换至评估模式，关闭 dropout、批量归一化等训练阶段的正则化操作，确保推理结果稳定，避免因随机因素导致预测结果波动。训练完用模型预测时，要喊一声 “考试模式启动”（），关掉训练时的 “作弊功能”（比如 dropout 随机删神经元、BN 层的动态统计），让模型每次输出都稳稳的，不会忽高忽低。模型训练完成后进行推理时，需调用。
2025-06-18 19:57:28
223
原创 Day34
通俗来说，实验发现了一个反直觉的现象：虽然记录日志的次数减少了10倍（从200次降到20次），但程序运行时间几乎没变化（都在10秒左右）。你以为的情况：每次记录日志都要"停车交费"，所以收费站通过次数越少，总时间应该越短（比如200次缴费花10秒，20次应该只花1秒）收费站（GPU-CPU交互）本身有"最低消费"：就算你少过几次，每次通过时还是要等固定流程（比如栏杆抬起/落下）可能还存在"隐形收费站"：比如数据从GPU运到CPU的卡车（PCIe带宽）速度是固定的，装多装少都要跑这么多趟。
2025-06-17 22:44:10
175
原创 Day 31
│── outputs/ # 输出结果（模型/日志）│ ├── raw/ # 原始数据（不可修改）│── data/ # 数据文件。│ ├── utils/ # 通用工具。│── configs/ # 配置文件。│── src/ # 源代码。│── docs/ # 文档。清洗 (data_cleaning.py)
2025-06-14 23:18:26
587
原创 da y30
from subfolder import my_module # 导入子目录中的模块。import my_module # 导入同级目录下的my_module.py。sys.path.append("..") # 添加上级目录到系统路径。然后在 sys.path 列出的目录中查找。Python 模块导入知识点回顾。2.导入自定义库/模块的方式。1.2从模块中导入特定内容。3.导入库/模块的核心逻辑。1.导入官方库的三种手段。1.3导入模块并设置别名。1.1直接导入整个模块。
2025-06-13 23:02:34
227
原创 Day 29
return f"{self.品牌}跑起来了，还剩{self.油量}%油"print(我的车.开车()) # 输出"宝马跑起来了，还剩90%油"功能多：小到开瓶盖(写脚本)，大到砍木头(做网站)都能干。榨汁机 - 你放水果进去(参数)，它给你果汁(返回值)print(榨汁("苹果")) # 输出"苹果汁"print(榨汁("橙子")) # 输出"橙子汁"每辆车：有相同功能(方法)，但状态不同(比如油量)我的车 = 汽车厂("宝马") # 造一辆宝马。微波炉 - 设定时间(参数)，它帮你加热食物。
2025-06-12 21:58:57
151
原创 day28
print(f"长：{rect.length}, 宽：{rect.width}") # 输出：长：4, 宽：6。print(f"是否为正方形：{rect.is_square()}") # 输出：是否为正方形：False。print(f"周长：{rect.calculate_perimeter()}") # 输出：周长：20。print(f"面积：{rect.calculate_area()}") # 输出：面积：24。题目1：定义圆（Circle）类。
2025-06-11 22:40:41
371
原创 day26
●任务： 编写一个名为 describe_shape 的函数，该函数接收图形的名称 shape_name (必需)，一个可选的 color (默认 “black”)，以及任意数量的描述该图形尺寸的关键字参数 (例如 radius=5 对于圆，length=10, width=4 对于矩形)。●任务： 编写一个名为 print_user_info 的函数，该函数接收一个必需的参数 user_id，以及任意数量的额外用户信息（作为关键字参数）。○user_id 是一个必需的位置参数。
2025-06-09 22:16:01
486
原创 Day25
try-except 是 Python 中处理运行时错误的核心机制，它允许程序优雅地处理异常情况，而不是直接崩溃。else 块（可选）：仅当 try 块没有引发异常时执行。可以指定多个 except 块处理不同类型的异常。# 同时处理多种异常，并获取异常对象。# 无论是否发生异常都会执行的代码。except 块：捕获并处理特定类型的异常。# 当指定异常发生时执行的代码。# 当没有异常发生时执行的代码。# 处理所有其他未捕获的异常。try 块：包含可能引发异常的代码。# 可能引发异常的代码块。
2025-06-08 22:58:42
141
原创 day24
print(f"包含 {len(files)} 个文件, {len(dirs)} 个子目录")print(f" 完整路径: {full_path}")print(f" - 文件: {filename}")print(f"\n目录: {root}")print(f"正在扫描目录: {path}")# 打印当前目录下的所有文件。# 打印当前目录信息。
2025-06-07 21:47:50
395
原创 day23
('feature_selection', SelectKBest(k=20)), # 可选特征选择。remainder='drop' # 处理未明确列出的特征。# 日期特征处理链（自定义转换）# 1. 定义特征类型（需根据实际数据调整）# 2. 构建预处理Transformer。# 数值型特征处理链。# 类别型特征处理链。# 文本型特征处理链。# 3. 构建完整Pipeline。Pipeline构建逻辑流程图。# 4. 超参数搜索空间。# 5. 执行网格搜索。
2025-06-06 23:34:53
1567
原创 day21降维算法
PCA：MNIST数字可能在2D空间部分重叠（如“4”和“9”），因线性投影无法分离非线性流形。优先t-SNE：探索复杂非线性结构（如单细胞RNA-seq数据），但需注意解释性限制。t-SNE：相同数字会形成更清晰的簇，但可能夸大局部结构（簇间距离无意义）。将高维数据降至2D/3D，便于人类直观理解数据分布（如聚类、异常检测）。聚类更清晰（同类样本紧密聚集）可能重叠（线性不可分数据）计算复杂度。优先PCA：需要快速降维、线性结构或下游任务（如分类）。减少特征数量可降低计算复杂度（如线性回归、SVM等）。
2025-06-04 22:57:23
276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人