18、ULMFiT、知识蒸馏及其他模型适配策略

ULMFiT、知识蒸馏及其他模型适配策略

1. ULMFiT策略与逐步解冻

在模型适配新场景时，ULMFiT策略中的逐步解冻技术能显著提升效果。以将模型解冻到第2层深度为例，代码如下：

depth = 2
for i in range(1, depth + 1):
    learn.freeze_to(-i)
    learn.fit_one_cycle(1, rate)

其中， learn.freeze_to(-i) 命令用于解冻顶部的 i 层，这是该方法的关键。在虚假新闻检测示例中应用此代码，第一步准确率就达到了99.8%，解冻顶部两层的第二步更是达到了惊人的100%。这表明ULMFiT方法是非常实用的技术集合。若有需要，还可继续解冻更多层。

2. 知识蒸馏概述

知识蒸馏是一种神经网络压缩方法，旨在让较小的学生模型学习较大教师模型中的知识。该策略在自然语言处理（NLP）领域逐渐流行，其核心是让学生模型模仿教师模型的输出，且该方法与模型架构无关，教师和学生模型可以基于Transformer、RNN或其他架构，甚至可以完全不同。

早期在NLP中的应用主要探讨双向LSTM（bi - LSTM）与基于Transformer架构的表征能力差异。研究发现，在某些情况下，预训练的基于Transformer的语言模型参数大小可缩小100倍，推理时间缩短15倍，同时不牺牲标准性能指标。

知识蒸馏的一般过程如下：