论文阅读_4_prompt_《Active Prompting with Chain-of-Thought for Large Language Models》

0-摘要

结合具体任务的有效prompt对生成高质量的大模型回答十分重要。特别是在复杂问题的回答上，带有样例的COTPrompt推理，取得了显著效果。然而当前的COT依赖于人工标注的样本示例，针对不同任务，这些样例不一定有效。本文提出一种动态Prompt，基于具体任务示例的Prompt，让模型适应不同任务。我们提出一种解决方法，从特定任务查询的池子中决定哪些问题是最重要且最有助于（人工）标注的。借鉴于给予不确定性的主动学习思想，我们引入几种评价指标来表征不确定性，以便选择最不确定的问题进行注释。实验证明我们的方法有领先性，在8像推理任务汇总取得了最好成绩。

code:GitHub - shizhediao/active-prompt: Source code for the paper "Active Prompting with Chain-of-Thought for Large Language Models"

1-引言

in-context learning 在对话生成任务中取得好成绩，但是在复杂推理任务中表现不佳。COTprompt在推理任务中取得了好效果，但是COT依赖于人类工程，他需要人工选择有信息量的问题然后用COT答案标注答案。COT对不同的任务也不是总有效。COT原论文汇总，从训练集中或者手工为8个问题制作了示例，由于推理任务有不同难度，不同领域，不同范围，很难知道哪些问题应该标注，哪些问题不应该。但好在为不同任务标注8个实例成本不高，鉴于此，我们提出利用不确定性来确定一些问题来标注。

借鉴给予不确定性的主动学习思想，我们引入几个评价指标来表征对于每个问题模型预测的不确定性。我们提出一种给予不确定性的标注策略，这种策略从下有数据集中选择一系列问题，人工参