深度学习
关注
分享
扫一扫
文章平均质量分 71
追影子的蛇
爱写作，但又忙又懒的计算机研究生一枚
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Pytorch框架之多学习率调度器的运用
本文介绍了在PyTorch中使用多学习率调度器组合的方法，重点展示了如何将预热学习率调度器和余弦退火调度器通过SequentialLR进行组合。作者分享了实际应用中的断点续训问题解决方案：通过手动调用scheduler.step()来同步调度器状态，解决了父调度器与子调度器之间的epoch计数冲突问题。该方法简单有效，为复杂学习率调度策略的实现提供了实用参考。原创 2025-09-02 15:50:15 · 276 阅读 · 0 评论 -
cuda内核函数--全连接层实现
介绍如何使用cuda内核函数实现全连接层的前向传播及自动求导的梯度计算校验原创 2024-12-30 19:41:14 · 1249 阅读 · 0 评论 -
梯度裁剪以避免梯度爆炸
利用梯度裁剪的策略以减少模型训练中的梯度爆炸现象，提供了代码及原理的解释。原创 2024-09-05 20:26:58 · 876 阅读 · 0 评论 -
Pytorch框架之训练中不同阶段使用不同的optimizer
在模型训练的不同阶段使用不同的optimizer，以避免loss爆炸的问题，让模型中后期的训练更稳定。原创 2024-08-09 16:29:23 · 333 阅读 · 0 评论 -
torch中实现depthwise convolution
介绍了depthwise convolution，并且提供了运用torch.nn.functional.conv2d和torch.nn.Conv2d的两种实现方式原创 2023-12-14 17:27:29 · 2402 阅读 · 1 评论 -
CV中的self-attention操作
详细介绍了计算机视觉（CV）中，transformer中的重要模块，self-attention及其各种变体，内容包括数学原理和代码实现及注释原创 2023-08-15 13:01:26 · 291 阅读 · 1 评论 -
交叉熵nn.CrossEntropyLoss()和nn.BCELoss()
简要讲解交叉熵损失的数学基础，并介绍pytorch中torch.nn.CrossEntropyLoss()函数和torch.nn.BCELoss()函数的具体实现原创 2022-10-05 20:27:41 · 1237 阅读 · 0 评论 -
GELU激活函数
补充说明GELU激活函数的证明过程原创 2022-07-09 19:24:06 · 502 阅读 · 0 评论