Hi7brooke的博客

实例归一化主要用于图像生成和风格迁移等任务，它是对每个样本的每个通道分别进行归一化。层归一化是对单个样本的所有特征维度进行归一化。其中 ϵ 是一个很小的常数，用于防止分母为零。在 PyTorch 中，可以使用。在 PyTorch 中，可以使用。在 PyTorch 中，可以使用。分别是特征图的高度和宽度。

本篇记录深度学习中常见的激活函数。

预训练：使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而让模型对特定任务的学习负担变轻。预训练思想的本质a.模型参数不再是随机初始化，而是通过一些任务进行预训练b.将训练任务拆解成共性学习和特性学习两个步骤上面两句话分别从两个不同的角度来解释预训练思想的本质。第一句话从模型的角度，第二句话从数据的角度。预训练的做法一般是将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的共性，然后将其中的共性“移植”到特定任务的模型中，再使用相关特定领域的少量标注数据进行“微调”