mmmmfh的博客

【代码】PyTorch学习记录十八——函数&方法。

学习率预热是在整个训练流程中对学习率进行动态调整的一个阶段。在开始的 warmup_steps （这里是 500 步）内，学习率从一个较小的值逐渐增加到预设的初始学习率。这个过程是与模型的参数更新同步进行的，也就是在训练的前 500 步中，模型一边更新参数，一边逐渐提升学习率。那么这个较小的值是怎样得到的？在代码实现里，这个较小值通常会在学习率调度器的实现中被设定。

tqdm三方库官方文档]

菜鸟教程]此模块是python的内置模块，用于处理日期和时间。

os模块是python内置的，提供了一种方便的使用操作系统的方式。

设置随机种子输出结果如下生成的随机数位于[0.0, 1.0)，是53位精度的浮点数。如果不设置随机种子，则每次生成的输出结果不同。如下所示设置一个随机种子print(a)print(b)输出结果如下设置多个随机种子print(a)print(b)输出结果如下此处使用torch.rand()函数作为示例。此函数用于生成具有均匀分布的随机数，这些随机数的范围在[0, 1)间。它接受一个形状参数（shape），返回一个指定形状的张量（tensor）。不设置随机种子。

logging是python的一个标准库，是内置模块，直接import不需要安装，提供了通用的日志系统（包含不同级别），用于记录训练过程、监控模型性能、调试代码，方便实验复现和问题分析。主要用来记录&输出以下内容：1.超参数信息2.训练损失（loss,accuracy,gradient notm）3.验证&测试结果4.模型保存信息5.时间&组员消耗6.异常&预警在训练模型时，通常使用logging模块，或者wandb、tensorboard来记录训练过程。

在Pytorch中，异常指的是程序运行时可能出现的错误或异常情况，例如数据类型错误、数组越界、内存错误等。Pytorch提供了一些内置的异常类，我们可以通过try语句捕捉这些异常进行相应的处理。

教程]

四种钩子方法]

官方中文文档][哔站讲解视频][英文]

运行上述命令后，TensorBoard会在本地启动一个Web服务，通常默认监听6006端口。命令行启动tensorboard，参数指定的是tensorboard应该读取的日志文件夹路径，从这个文件中读取训练过程中生成的日志文件，从而实现可视化。

【免费】PyTorch基本架构与主要基础知识思维导图资源-优快云文库