- 博客(5)
- 收藏
- 关注
RSS订阅原创 day5 分类实战
学习率（lr=0.001）：AdamW优化器默认值，适配迁移学习（预训练参数接近最优，无需大幅更新），太大易震荡不收敛，太小训练过慢。损失函数（CrossEntropyLoss）：单标签多分类任务标配，内部集成softmax（将logits转为概率）与负对数似然损失计算，避免手动实现导致的数值不稳定。优化器（AdamW）：带权重衰减的Adam优化器，通过L2正则化（weight_decay=1e-4）惩罚过大参数，防止过拟合，比普通Adam泛化能力更强。
2026-01-18 20:37:52
899
原创 day4 卷积神经网络初识
残差块类型适用场景维度匹配方式典型参数维度不变同阶段内主路径卷积S=1、P=1，直接相加单块参数 73856维度变化阶段切换主路径调整维度 + 捷径路径1×1卷积同步调整单块参数 229760导入官方 AlexNet 并打印结构作为参考；自定义实现 AlexNet（MyAlexNet），还原核心卷积 / 池化 / 全连接层；统计模型总参数和可训练参数；用随机输入（4 张 224×224 的 RGB 图像）测试前向传播，输出各阶段维度和最终结果。# 定义激活/正则化层。
2026-01-08 21:07:19
1219
原创 day2 深度学习线性回归代码初识
简化优先，聚焦核心采用模拟数据而非真实数据集，避免数据预处理的复杂操作，聚焦线性回归的模型、损失和优化核心逻辑；模型设计严格遵循线性回归公式，不引入复杂结构，便于入门者理解。遵循深度学习通用流程严格按照 “数据生成→数据加载→模型定义→损失定义→优化器定义→训练迭代→结果验证” 的流程实现，该流程可复用至复杂模型训练。小批量 SGD 贯穿始终从数据打乱、批量加载到参数更新，全程围绕小批量 SGD 设计，平衡训练效率和稳定性，这是深度学习优化的核心思想。充分利用 PyTorch 自动求导。
2026-01-04 19:08:27
1161
原创 day1 神经网络概述
梯度下降（Gradient Descent，GD）是深度学习最核心的优化算法，用于求解模型损失函数的最小值，从而更新模型的可训练参数（如权重、偏置），让模型拟合数据。反向传播算法依赖梯度计算更新权重，若激活函数不可导，梯度无法传递，网络无法学习。缺点:死亡ReLU问题: 当输入为负时，ReLU的梯度为0，这意味着权重更新停止，可能导致部分神经元永久失效，即所谓的“死亡ReLU”。缺点:梯度消失: 当输入远离原点时，Sigmoid函数的导数趋近于0，这会导致梯度消失，使得深层网络难以训练。
2025-12-31 14:40:56
964
原创 机器学习与深度学习初识
本文介绍了神经网络的基础概念和深度学习的基本步骤。首先通过图示展示了神经网络的输入输出结构，并附有小测验。随后阐述了深度学习的三大核心环节：1）定义模型函数；2）选择合适的损失函数；3）基于损失函数优化模型。文中用多张示意图直观呈现了这些概念，并强调损失函数值越小，模型效果越接近真实情况。这些内容为理解神经网络工作原理提供了基础框架。
2025-12-30 15:00:29
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人