大厂总结-提示工程《第5章 生成可控性提示》

探秘 AI 原生应用开发：〈提示工程原理与实战〉研读笔记系列
🛒 京东图书：https://item.jd.com/14373635.html

最近，我阅读了《AI
原生应用开发：提示工程原理与实战》一书，它为我打开了大语言模型与提示工程领域的新视野。为了更好地消化书中的知识，加深对相关内容的理解，我决定撰写一系列的读书笔记。

一、核心要点概述

本章聚焦于大语言模型生成内容的可控性问题，深入剖析了不可控性的具体表现、影响因素，并探讨了相应的解决方法。大语言模型虽在自然语言处理领域成果显著，但因其基于神经网络的参数化预测机制，存在输出不可控的问题，这在实际应用中带来诸多挑战。

二、可控性问题分类

（一）幻觉问题

1. 定义：大语言模型在生成文本时产生与输入内容不一致或不符合事实的信息，如虚假数据、错误事实、无中生有的细节等。
2. 产生原因：可能是训练数据中记忆错误知识、知识匮乏，或生成过程受不确定性影响而编造。
3. 影响：在新闻、医疗、法律等敏感领域，可能导致输出误导性信息，影响声誉，传播不实或有害信息，引发社会或政治争议。

（二）指令遵循问题

1. 表现：大语言模型基于大量自然语言语料学习，不一定能真正理解输入含义和输出逻辑，尤其面对难以理解的指令时，生成内容可能不符合要求。
2. 示例：要求按“KV”格式输出，模型却输出JSON格式。
3. 解决方法
   • 对话反馈：在对话场景中，通过补充新的对话反馈，让模型更正输出。
   • 小样本示例：在提示中提供小样本的输出示例，引导模型按要求输出。

（三）内容安全问题

1. 定义：大语言模型在生成文本时可能传播有害、偏见或歧视信息，损害AI原生应用的信誉和用户体验。
2. 产生原因：可能是模型随机生成，也可能是从训练数据中错误学习或模仿。
3. 影响：对于商业应用是严重问题，影响模型的社会责任和道德标准，降低用户信任度和满意度。
4. 改进现状：当前主流大语言模型已开始在内容安全方面做出努力，如面对敏感议题时给出审慎回应。

三、思考与启示

大语言模型的可控性问题是AI原生应用开发中必须解决的关键问题。幻觉问题提醒我们在使用模型时要对输出内容进行严格的事实核查，尤其是在关键领域的应用中。指令遵循问题表明我们需要优化与模型的交互方式，通过有效的反馈和示例引导模型更好地理解和执行指令。内容安全问题则强调了模型开发者应加强对训练数据的筛选和管理，提高模型的安全性和可靠性。

同时，随着大语言模型的广泛应用，建立一套完善的评估和监督机制至关重要，以确保模型的输出符合预期，保障用户和社会的利益。未来的研究可以进一步探索如何从模型架构、训练方法等层面解决可控性问题，推动大语言模型在更多领域的安全、有效应用。