Ying_M

损失函数的作用是衡量模型的输出与真实标签之间的差异，有了这个差异(loss)后，如何使用这个loss去更新模型中的参数，使得loss逐渐降低呢？这就是优化器所要完成的工作。什么是优化器损失函数会得到一个loss值，即模型输出与真实标签之间的差异，然后采用pytorch中的自动梯度求导模块来求导模型中的参数的梯度，在模型中就可以得到对每一个可学习参数的梯度grad，有了梯度之后，优化器拿到梯度进行一系列的优化策略，更新模型中的参数，然后模型中的参数会使得loss值下降。因此优化器的作用是采用梯度来更新模

CPU与GPUCPU（Central Processing Unit, 中央处理器）：主要包括控制器和运算器GPU（Graphics Processing Unit, 图形处理器）：处理统一的、无依赖的大规模数据运算数据迁移至GPU其中图中的data通常有两种形式：Tensor(张量)Module(模型)**to函数：**转换数据类型/设备tensor.to(*args, **kwargs)module.to(*args, **kwargs)区别：张量不执行inplace操

Transfer Learning & Model Finetune模型微调**Transfer Learning:**机器学习分支，研究源域(source domain)的知识如何应用到目标域(target domain)。迁移学习是一个很大的概念，它主要研究一系列源域的知识应用到目标域中，如何理解？上图左边是一个传统的机器学习任务的学习过程，传统的机器学习任务中对不同的任务分别进行训练和学习，得到称之为Learning System的模型，这里三个不同的任务就会得到三个不同的Learn

序列化与反序列化模型训练时，模型是在内存中的，而内存中的数据不具备长久性的存储功能，因此需要把模型从内存中搬到硬盘中进行长久的存储。序列化与反序列化主要指内存与硬盘之间的数据转换关系，模型在内存中是以一个对象形式存储的，但是在内存当中对象不能长久的保存，因此需要保存到硬盘中。而在硬盘中，是以二进制的形式进行保存的，即二进制序列。因此序列化是指将内存中的某一个对象保存到硬盘中，以二进制序列的形式存储。对应于Pytorch中的模型，可以理解为将模型转换成二进制的数存储到硬盘中进行长久的存储。反序列化是