2025_NIPS_PRESTO: Preimage-Informed Instruction Optimization for Prompting Black-Box LLMs

一、文章主要内容总结

该研究聚焦于黑盒大语言模型（LLM）的指令优化问题——由于黑盒LLM（如GPT-4）的内部参数不可访问，直接优化其指令面临挑战。现有方法通过白盒LLM（如LLaMA3.1-8B-Instruct）优化软提示（soft prompt）以生成候选指令，但存在“多对一映射”问题（不同软提示映射到相同指令），导致查询冗余、优化效率低下。

研究重新解读这一“多对一映射”为有用的先验知识（即“原像结构”：生成相同指令的所有软提示构成该指令的原像），并提出PRESTO框架，通过三大核心组件提升优化效率：

1. 分数共享（Score Sharing）：将一个软提示的黑盒评估分数共享给同一原像中的所有软提示，无需额外黑盒查询即可扩充带分数数据；
2. 原像初始化（Preimage-Based Initialization）：基于原像信息选择初始软提示，最大化搜索空间覆盖；
3. 分数一致性正则化（Score Consistency Regularization）：鼓励分数预测器对同一原像中的软提示输出相同分数，提升预测准确性。

实验在30个指令归纳任务和3个算术推理任务中验证，PRESTO显著优于6个主流基线方法（如InstructZero、INSTINCT），在20个核心指令归纳任务中12次取得最佳成绩，且优化后的指令作为思维链（CoT）提示时，在GSM8K、AQUA-RAT等数据集上表现优异。

二、