Autonomous Prompt Engineering in Large Language Models

本文是LLM系列文章，针对《Autonomous Prompt Engineering in Large Language Models》的翻译。

摘要

提示工程是一项关键但具有挑战性的任务，用于优化大型语言模型 （LLM） 在自定义任务上的性能。这项开创性研究引入了自动提示工程工具箱 （APET），它使 GPT-41 能够自主应用提示工程技术。通过利用专家提示、思维链和思维树等复杂策略，APET 使 GPT-4 能够动态优化提示，从而在单词排序（增长 4.4%）和几何形状（增长 6.8%）等任务中取得重大改进。尽管在复杂任务中遇到了挑战，例如 Checkmate 合一 （-14.8%），但这些发现证明了 APET 在不使用外部数据的情况下自动化复杂的提示优化流程的变革潜力。总体而言，这项研究代表了 AI 发展的重大飞跃，为自主 AI 系统的未来创新提供了一个强大的框架，并强调了 GPT-4 将提示工程理论付诸实践的能力。它为提高复杂任务性能的性能和拓宽这些技术在实际场景中的实际应用奠定了基础。

1 引言

2 文献综述

3 方法

4 结果

5 讨论

6 结论

6.1 总体总结

本文研究了 GPT-4 的能力，重点是它通过自我优化的提示，使用自主提示工程工具箱 （APET） 自主增强其性能的能力。总体目标是确定 LLM 可以在多大程度上自主应用理论见解来提高其在一系列任务中的表现。这项研究不仅深入探讨了提示优化的内部机制，还填补了理解大型语言模型如