大模型的任务型应用优化

前言

最近在做大模型的应用，也遇到一些问题，虽然通过各种骚操作解决了问题，但是没有一个体系的结构，通过学习文章对解决方案有了新的认识，总结一下。

定义

任务型应用

• 任务型应用，主要指帮助用户完成特定任务，例如预约餐馆、预定机票、给出规划等，与用户的交互大多是结构化的，我们通常要求它输出结构化数据以便进行下一步处理

生成式对话应用

• 生成式对话应用我们称之为“闲聊”，其主要目的是进行自然的、开放式的互动，根据给定的对话历史和上下文信息生成连贯的自然语言回复

问题

对于大模型来说，响应速度、效果、功能似乎是一个“不可能三角”。

任务型应用对响应速度比较敏感

• 大模型的响应速度是指接收到首包和全文包的时间

小尺寸模型有较高的响应性能

• 复杂场景下效果得不到保障

优化方案

优化输出结构

• 提示词约束输出结构，减少输出token

  • 不采用JSON形式的输出

  • 使用约定好的格式