【NLP 48、大语言模型的神秘力量 —— ICL：in context learning】

目录

一、ICL的优势

1.传统做法

2.ICL做法

二、ICL的发展 

三、ICL成因的两种看法

1.meta learning

2.Bayesian Inference

四、ICL要点

① 语言模型的规模

② 提示词prompt中提供的examples数量和顺序

③ 提示词prompt的形式（format）

五、fine-tune VS ICL

---

不要抓着枯叶哭泣，你要等待初春的芽

                                                —— 25.3.26

一、ICL的优势

1.传统做法

任务定义 ——> 建立标注规范 ——> 标注人员学习标注规范 ——> 标注人员进行标注 ——> 对标注结果进行审核 ——> 使用标注数据训练模型 ——> 模型验证效果 ——> 模型实际预测

2.ICL做法

任务定义 ——> 模型实际预测

ICL方法如果完全成熟，意味着fine-tune范式的终结

---

二、ICL的发展 

关于ICL的成因，目前学术界没有被广泛认可的解释，只有若干假说和一些表现分析。

在GPT3的论文中，z-s【zero-shot】，o-s【one-shot】，f-s【few-shot】都属于ICL 

---

chain-of-thought思维链属于ICL

---

GPT3给出参考：在输入中加入至少一个样本，能大幅提升ICL效果

对于一个较大的模型而言，给出一个例子就可以显著的提升ICL的效果，给出Few-shot，准确性还会有所提升

对于一个较弱的模型而言，给出多少例子都不会显著提升ICL的效果

---

fine-tune会伤害ICL能力

---

精巧的提示词prompt设计有可能超过os、fs，可以通过提示词的改写进一步提高ICL的能力 

---

Magical word

不给出思维链，而是在输入时多加入一句提示词，需要模型一步步思考：Let's think step by step

模型就可以像思维链一样主动发出思考，最终输出正确的结果

---

ICL时输入错误样本，不一定影响准确率

我们发现，用随机标签替换正确标签只会略微影响性能，这一趋势在几乎整个过程中是一致的

---

ICL可以压倒先验知识

---

三、ICL成因的两种看法

1.meta learning

大模型能在内部训练小型网络

2.Bayesian Inference

模型任务可以看作一个贝叶斯一样的多条件概率的组合，pretrain、prompt、example三者条件概率的组合，三者皆对于最终概率有影响

---

四、ICL要点

① 语言模型的规模

语言模型需要达到一定的规模

② 提示词prompt中提供的examples数量和顺序

给出的示例样本的数量和顺序也会影响模型效果的好坏

③ 提示词prompt的形式（format）

提示词的格式也十分重要，好的模型会根据你给出的格式回答你的问题

---

五、fine-tune VS ICL