文献阅读：Large Language Models are Null-Shot Learners

• 文献阅读：Large Language Models are Null-Shot Learners
  • 1. 文章简介
  • 2. 方法介绍
  • 3. 实验考察 & 结论
    • 1. 基础实验
      • 1. 实验设计
      • 2. 实验结果
    • 2. 消融实验
      • 1. 小模型上的有效性
      • 2. ∅CoT Prompting
      • 3. 位置影响
      • 4. 组成内容
  • 4. 总结 & 思考

• 文献链接：https://arxiv.org/abs/2401.08273

1. 文章简介

这篇文章是立命馆大学在今年1月发表的一篇工作，依然是一个prompt tuning的一个工作，不过蛮有意思的。

这篇文章提出的一个核心方法叫做$\varnothing$shot prompt，简单来说就是假装告诉模型给了一些example，然后实际不给，然后让模型进行生成，在这种情况下，发现模型获得了较之普通情况下更好的效果表达，也是挺神奇的。

本质上来说，这篇文章就是注意到了当前LLM无法绕开的幻觉问题，然后反其道而用之，利用模型自身的“幻觉”来辅助生成，获得更好的生成效果。

下面，我们来具体对文章内容进行一下展开。

2. 方法介绍

首先，我们来看一下$\varnothing$shot prompt的具体方法实现。

这部分其实真的很签单，前面说的基本就是全部了，即提示模型prompt中包含一些实际并不存在的example，然后让模型根据这些不存在的example来生成对应的结果。

文中给出了一个具体的实现的示例如下：

3. 实验考察 & 结论

然后，我们来看一下文中给出的一些关于$\varnothing$shot prompt的具体实验。

1. 基础实验

首先，我们来看一下文中关于 ∅ \varnothing