- 博客(7)
- 收藏
- 关注
RSS订阅原创 深度学习笔记:基于PyTorch的MNIST手写数字识别实战
MNIST手写数字识别是深度学习领域的经典入门项目，被誉为深度学习的"Hello World"。本案例使用全连接神经网络实现对0-9手写数字的分类识别。本文是基于pytorch对深度学习一些案例的代码实现这个案例的目的是，训练神经网络能够识别手写数字，该案例原本是rnn的经典案例，但是还没写rnn的笔记并且该数据比较简单，直接就用Linear来代替卷积层了。
2025-11-18 16:28:00
403
原创 深度学习笔记:正则化和批量归一化
特性维度L1正则化 (Lasso)L2正则化 (Ridge)Dropout核心思想"废弃无用特征""平均抑制特征""随机团队协作""稳定内部环境"数学机制在损失函数中增加λ·‖W‖₁在损失函数中增加(λ/2)·‖W‖₂²前向传播时以概率p随机置零神经元对小批量数据标准化：γ·x̂ + β实现方式效果稀疏解：将不重要的权重精确置零，实现特征选择。稠密解：使所有权重均匀地缩小，但不为零。破坏协同适应：防止神经元过度依赖，增强模型鲁棒性。稳定分布：加速收敛；同时引入噪声，起到隐式正则化作用。
2025-11-17 15:01:24
758
原创 深度学习笔记:学习率衰减策略
学习率衰减策略，是在训练过程中动态改变学习率本身的一种方法，与AdaGrad等调整学习率的方法不同的是：学习率衰减策略是同一参数不同时刻的改变（改变本身）自适应优化算法是不同参数的改变（本身不变，通过历史梯度的累加改变计算结果）
2025-11-14 16:03:02
301
原创 深度学习笔记:网络模型的优化算法
优化算法核心思想优点缺点适用场景SGD基础梯度下降简单直接容易震荡理论分析Momentum梯度方向惯性减少震荡，加速收敛超参数敏感一般任务AdaGrad自适应学习率适合稀疏数据学习率消失NLP任务RMSprop改进的自适应解决学习率消失RNN等Adam动量+自适应通常效果最好可能泛化稍差大多数任务。
2025-11-13 16:39:06
678
原创 深度学习笔记:损失函数
损失函数对于不同任务有不同的选择，回归任务包括MAE，MSE，SmoothL1其中MAE的变化是线性的，他的梯度变化也稳定，对于差异较大损失值不敏感，但是在0处不可导导致他不够平滑。MSE的变化是指数增长的，梯度变化较大，对差异较大的损失值过于敏感，容易梯度爆炸，但是在0处可导，平滑。SmoothL1则是在损失值较小处和MSE一样平滑，而在较大时则和MAE一样平稳，不会出现梯度爆炸的问题。分类任务包括多分类交叉熵损失和二分类交叉熵损失二选一时用二分类（是/否），多选时用多分类（猫/狗/鸟）。
2025-11-13 11:25:10
861
原创 深度学习笔记:常见的激活函数
特性SigmoidTanhReLUSoftmax输出范围(0, 1)(-1, 1)[0, +∞)(0, 1)，且和为1是否零中心否是否是（相对）梯度消失严重存在在正区无问题主要问题梯度消失、非零中心梯度消失神经元死亡仅用于输出层常见应用二分类输出层隐藏层（已不常用）隐藏层（最常用）多分类输出层。
2025-11-12 16:15:59
296
原创 笔记:langgraph的基础操作
当然langgraph也支持并行分支，当我们不添加条件边时，他就会进行一种类并行的操作，因为python本身是不支持这种同步的操作的，所以采取的策略是异步，所以当分支多起来之后很有可能会出现分支处理时的顺序每次不一样，这是因为python内部资源分布所导致的。这种思想和传统分支的不同点是，mapreduce适用于对于相同函数处理不同的信息，是并行分支，最后对所有的信息进行聚合，有点像正常分支的升级版。对于有循环的图，我们通常会在条件边中设置终止机制。maoreduce分支。
2025-10-23 16:06:16
21
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人