文献阅读：PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization

• 文献阅读：PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization
  • 1. 文章简介
  • 2. 方法说明
  • 3. 实验 & 结论
    • 1. 基础实验
      • 1. 实验设置
      • 2. 结果分析
    • 2. 细节讨论
      • 1. 泛化性
      • 2. 检索策略
      • 3. 收敛性分析
      • 4. case分析
  • 4. 总结 & 思考

• 文献链接：https://arxiv.org/abs/2310.16427
• GitHub链接：https://github.com/XinyuanWangCS/PromptAgent

1. 文章简介

这篇文章是23年10月微软和Carnegie Mellon大学一起发表的一个Prompt调优的工作。

文中注意到，专家在处理一个问题的时候，是会在问题本身之外引入很多domain知识的（如下图所示），而当前的一些常规的prompt调优的手段，比如CoT或是迭代优化等方法，都是只专注于prompt本身，通过一些prompt表述方式的优化来试图优化LLM的回答质量。

因此，文中提出了一个Prompt Agent的方法，尝试通过反馈迭代的机制，不断地让模型自己在prompt当中引入domain内的专业知识补充，从而获得更好的prompt，让LLM生成更好的回答。

下面，我们就来看看这个Prompt Agent方法的具体实现和实验结果。

2. 方法说明

首先，文中给出了prompt优化的具体问题定义，但是这个其实比较直接，就是给定LLM以及对应的任务，然后优化prompt，然后令LLM能够在对应的task下生成最好的回答。

用数学语言表示就是：

p ∗ = a r g m a x p ∈ S ∑ i R ( p B ( a i ∣ q i , p ) ) p^{*} = \mathop{argmax}\limits_{p \in S} \sum\limits_{i} R(p_{B}(a_i|q_i, p))