3、语言建模：方法、决策与伦理考量

语言建模：方法、决策与伦理考量

1. 方法论概念

在自然语言处理领域，有几种关键的方法论概念对于语言模型的应用和优化至关重要。

1.1 提示法（Prompting）

提示法主要用于分类任务，尤其是掩码填充任务。例如，当要预测句子 “I can’t listen to this song anymore” 的情感时，会将其与模板 “Overall, it is simply a [X] song” 结合形成提示。若语言模型对于 “terrible”“irritating”“horrendous” 等预定义负面填充词的概率高于 “beautiful”“fantastic” 等正面填充词，答案就会被映射为负面标签，作为分类输出。

提示法的优点在于利用了模型大量的预训练知识，在零样本或小样本分类场景中特别有用，即训练实例很少或没有的情况。然而，它也面临挑战，比如设计有用的模板、搜索和整合答案以及将答案映射回标签的策略都较难确定。当使用思维链提示法训练时，语言模型甚至可以生成答案的潜在解释。

1.2 微调（Finetuning）

微调是一个通用术语，指更新预训练语言模型参数以适应新任务或领域的一系列技术。最初引入时，它用于监督分类设置，即在语言模型之上添加额外的分类层，然后对整个模型进行微调以优化特定于任务的新损失函数。对于每个实例，模型会生成输出标签的概率分布。如今，微调的概念已扩展到多种场景，如领域适应的持续预训练或提示调整。但微调计算成本高，需要大量监督数据。

1.3 适配器（Adapters）

适配器模块是全量微调的更高效替代方案，它被插入到预训练语言模型的变压器层之间。