靓仔沾点健忘症，写给时间下游的自己

训练大型预训练语言模型非常耗时且计算密集。随着模型规模的不断扩大，研究者们越来越关注更有效的训练方法，如提示（Prompt）。提示通过在输入中添加描述任务的文本提示，甚至通过提供任务示例，来为特定下游任务准备冻结的预训练模型。通过使用提示，您可以避免为每个下游任务训练一个单独的模型，而是通过同一个冻结的预训练模型来完成多个任务。这比为每个任务训练一个单独的模型要高效得多，因为您只需要训练和存储一个较小的提示参数集，而不是训练整个模型的参数。

BN,LN,IN,GN

通过随机使权重为零的方式使神经元失活

过拟合即训练后的权重为高方差，正则化的目的就是减小权重的方差

python记录可视化的数据--存储到硬盘--在web端进行可视化

optimizer:关联的优化器，改动优化器内的学习率last_epoch:以epoch为周期，记录epoch数base_lrs:记录初始学习率milestones = [50, 125, 160]scheduler_lr = optim.lr_scheduler.MultiStepLR(optimizer, milesto

pytorch基本属性和方法

损失函数：衡量模型输出和标签之间的差异。

初始化方式

1.用__init__定义层2.用forward()连接子模块

数据读取和图像tansformer方法

张量的基本方法