InternLM: 基础岛 - 提示词工程 prompt engineering

什么是提示词工程

提示词工程通过调整 prompt 改善模型性能、控制输出结果。

prompt = 预设 prompt + 用户输入 + 之前轮次模型输出

RAG, Agent 本质也是一种 prompt 工程。

notes: RAG 是检索增强生成 (Retrieval-Augmented Generation) 。旨在解决模型在生成长文本时可能出现的信息缺失、内容一致性和相关性等问题。该技术将用户输入转换为 input_ids 后，通过输入向量从知识库 retrieve 获取相关的知识 documents（例如比较向量的相似度）。然后将这些 doc 一并传递给 generater 产生 output。Technical Brief - NVIDIA Docs

快速构建  LLM 应用：从 prompt 工程入手

右下角给出了快速构建 LLM 应用的一般步骤。

构建提示词 - 原则 & 框架

构建提示词可以从六个维度入手，指令清晰、提供参考内容、拆分子任务、引导给出过程 ToC、使用外部工具、系统性测试变化。