weixin_43961909的博客

多目标对齐的任务旨在平衡和控制大型语言模型的不同对齐目标(例如，有益、无害和诚实)，以满足不同用户的个性化需求。然而，以前的方法倾向于训练多个模型来处理各种用户偏好，训练模型的数量随着对齐目标的数量和不同偏好的数量而线性增长。同时，现有的方法通常扩展性差，并且对于每个考虑的新的对准目标需要大量的重新训练。

在许多现代LLM应用程序中，比如检索增强生成，提示本身已经变成了程序。在这些设置中，使用不同的用户查询或数据实例重复调用提示程序。一个巨大的实际挑战是优化这样的提示程序。最近的工作主要集中在简单的提示程序上，或者假设提示程序的一般结构是固定的。我们介绍SAMMO，一个为提示程序的编译时优化执行符号提示程序搜索的框架。SAMMO在符号级别上表示提示程序，允许在优化过程中搜索一组丰富的转换。

在不断增加的上下文窗口大小的刺激下，在用于数据注释和模式提取的大型语言模型(LLM)的应用中的两个最新趋势是(I)具有复杂结构、丰富信息和任务指令的更长提示，以及(ii)在同一提示中处理许多数据点(迷你批处理)以提高查询效率。在注释和分析数据的过程中，相同的元提示被许多不同的输入重复使用，因此值得优化长度，因为计费与整体令牌使用成比例。首先，由于忽略了提示的结构，它们在可以执行的转换操作方面受到限制；其次，它们没有考虑诸如输入和输出成本或遵守输出规范等重要因素。

提示工程可以显著提高大型语言模型(LLM)的性能，自动提示优化(APO)由于手动提示设计的费时费力而备受关注。然而，APO的许多现有工作忽略了特定任务的特征，导致提示缺乏领域特异性，不太适合特定任务的优化。在本文中，我们介绍了TAPO，一个多任务感知的提示优化框架，由三个关键模块组成。首先，提出了一个任务感知的度量选择模块来增强特定于任务的提示生成能力。其次，我们提出了一个多指标评估模块，从多个角度联合评估提示。第三，引入了一个基于进化的优化框架，用于自动提示细化，这提高了跨各种任务的适应性。

可以采用基于RL的技术来搜索提示，当将其输入目标语言模型时，最大化一组用户指定的奖励函数。然而，在许多目标应用中，自然的回报函数是相互矛盾的——例如，在风格转换任务中，内容保留与风格匹配。目前的技术专注于最大化奖励函数的平均值，这不一定会导致实现奖励平衡的提示——这是一个在多目标和鲁棒优化文献中已经得到充分研究的问题。在本文中，我们进行了几个现有的多目标优化技术的经验比较，适应这一新的设置:基于RLS的离散提示优化。我们比较了两种优化帕累托回报面的方法，以及一种选择同时使所有回报受益的更新方向的方法。

大型语言模型(LLM)已经展示了非凡的能力；然而，优化他们的提示在历史上优先考虑性能指标，而牺牲了关键的安全性和安全性考虑。为了克服这个缺点，我们引入了“最安全的生存”(SoS)，这是一个创新的多目标即时优化框架，可以同时增强LLM的性能和安全性。SoS利用交叉多目标进化策略，集成语义、反馈和交叉变异，以有效地遍历离散提示空间。与计算要求高的Pareto front方法不同，SoS提供了一种可扩展的解决方案，可以在复杂的高维离散搜索空间中加速优化，同时保持较低的计算要求。

自然语言迅速优化或及时工程已成为一种强大的技术，可以解锁大型语言模型（LLMS）的各种任务的潜力。尽管现有方法主要集中于最大化LLM输出的单一特定任务性能指标，但现实世界中的应用程序通常需要考虑多个目标之间的权衡。在这项工作中，我们通过提出一种针对LLM的多目标提示优化的有效技术来解决此限制。具体而言，我们提出了甲状腺酸占据，这是一种增强学习方法（RL）方法，该方法利用提示之间的优势关系来推导策略模型，以使用基于首选项的损失功能来提示优化。

本文探讨了将翻译目的和目标受众融入提示中对 ChatGPT 翻译质量的影响。该研究借鉴了以往的翻译研究、行业实践和 ISO 标准，强调了翻译过程中预制作阶段的重要性。研究表明，在 ChatGPT 等大规模语言模型中加入适当的提示可以产生灵活的翻译，这是传统机器翻译 (MT) 尚未实现的壮举。该研究仔细研究了当使用提示生成满足特定条件的翻译时翻译质量的变化。该评估是从翻译实践者的角度进行主观和定性评估，并辅以 OpenAI 的词嵌入 API 进行余弦相似度计算。

随着 OpenAI 的 ChatGPT 和 Google 的 Bard 等软件的普及，大语言模型（LLM）已经渗透到生活和工作的许多方面。例如，ChatGPT 可用于提供定制食谱，建议替换缺失的成分。它可用于起草研究提案、用多种编程语言编写工作代码、在语言之间翻译文本、协助政策制定等等（Gao 2023）。用户通过“提示”或自然语言指令与大型语言模型进行交互。精心设计的提示可以带来明显更好的输出。在这篇评论中，将解释 LLM 即时工程的常见策略。

预训练语言模型的显著成功促使人们研究这些模型在预训练过程中学习了哪些知识。将任务重新表述为填空题(例如，完形填空测试)是衡量这些知识的一种自然方法，然而，它的使用受到编写适当提示所需的人工努力和猜测的限制。为了解决这个问题，我们开发了AUTOPROMPT，这是一种基于梯度引导搜索的自动化方法，可以为各种任务创建提示。使用AUTOPROMPT，我们表明掩码语言模型(mlm)具有在没有额外参数或微调的情况下执行情感分析和自然语言推理的固有能力，有时可以达到与最近最先进的监督模型相当的性能。

本文介绍了 Data Science for Digital Health (DS4DH) 小组在 ACL-ClinicalNLP 2023 的 MEDIQA-Chat 任务中的结果。我们的研究结合了经典机器学习方法的力量，支持矢量机，用于对医学诊断语言进行分类，以及使用 GPT-3.5 实施一枪提示。我们使用对话和来自同一类别的摘要作为提示，为小说对话生成摘要。我们的研究结果超过了基准分数的平均值，为评估该领域的表现提供了可靠的参考。

在这项研究中，我们评估了大型语言模型(LLM)在各种数学和组合优化任务中的优化能力，其中每个任务都用自然语言描述。这些任务要求LLM通过交互式提示迭代地生成和评估解决方案，其中每个优化步骤都涉及基于过去的结果生成新的解决方案，然后传递给后续迭代。我们证明了LLM可以执行各种优化算法，并充当有效的黑盒优化器，能够智能地优化未知函数。我们还引入了三个简单但信息丰富的指标来评估优化性能，适用于不同的任务，对测试样本的变化不太敏感。

针对大规模预训练语言模型(PLMs)的即时调优已经显示出显著的潜力，尤其是在诸如fewshot学习的低资源场景中。此外，无导数优化(DFO)技术可以调整黑盒PLM的提示，以更好地适应下游任务。然而，应用现有的基于DFO的提示调整方法通常有前提条件，例如主干PLM需要提供额外的API，以便隐藏状态(和/或嵌入向量)可以作为连续提示注入其中，或者需要预先提供精心设计的(离散)手动提示，作为调整算法的初始状态。

启发式算法广泛用于处理复杂的搜索和优化问题。然而，启发式算法的手动设计通常非常耗费人力，需要丰富的工作经验和知识。本文提出了启发式算法的进化 （EoH），这是一种新颖的进化范式，它利用大型语言模型 （LLM） 和进化计算 （EC） 方法进行自动启发式设计 （AHD）。EoH 代表自然语言中的启发式概念，称为思想。然后由 LLM 将它们转换为可执行代码。进化搜索框架中思想和代码的演变使其在生成高性能启发式算法方面非常有效和高效。

为大型语言模型 (LLM) 制定理想的提示是一项具有挑战性的任务，需要大量资源和专家的人工投入。现有工作将提示指令和上下文学习示例的优化视为不同的问题，导致提示性能不佳。本研究通过建立统一的上下文提示优化框架来解决这一限制，该框架旨在实现提示指令和示例的联合优化。然而，在离散和高维自然语言空间中制定这种优化会带来收敛和计算效率方面的挑战。为了克服这些问题，我们提出了 PHASEEVO，这是一种高效的自动提示优化框架，它将 LLM 的生成能力与进化算法的全局搜索能力相结合。

高效的、特定于任务的提示通常由专家进行大量设计，以基于对大型语言模型（LLM）的直觉和目标任务的复杂性的深刻理解，整合详细的说明和领域洞察力。然而，自动生成这种专家级提示仍然难以捉摸。现有的提示优化方法往往忽视了领域知识的深度，难以有效地探索专家级提示的广阔空间。为了解决这个问题，我们提出了PromptAgent，这是一种优化方法，可以自主制作质量与专家手工制作的提示相当的提示。

大型语言模型（LLM）在各种任务中表现出色，但它们依赖于精心设计的提示，而这些提示通常需要大量的人力。为了实现这一过程的自动化，在本文中，我们提出了一种新的离散提示优化框架，称为EvoPrompt，它借用了进化算法（EAs）的思想，因为它们表现出良好的性能和快速收敛性。为了使EA能够处理离散提示，离散提示是需要连贯且人类可读的自然语言表达式，我们将LLM与EA连接起来。这种方法使我们能够同时利用LLM强大的语言处理能力和EA的高效优化性能。

通过对自然语言指令进行调节，大语言模型(LLM)显示了作为通用计算机的令人印象深刻的功能。然而，任务表现在很大程度上取决于用于引导模型的提示的质量，并且大多数有效的提示都是由人类手工制作的。受经典程序合成和提示工程的人类方法的启发，我们提出自动提示工程师（APE）用于自动指令生成和选择。在我们的方法中，我们将指令视为“程序”，通过搜索LLM提出的候选指令池进行优化，以最大化所选的分数函数。为了评估所选指令的质量，我们评估了所选指令之后的另一个LLM的零样本性能。