大模型的幻觉、指令遵循、内容安全问题

大语言模型在自然语言处理领域已取得了令人瞩目的成果，它们能够生成既流畅又富有创意的文本。然而，这些模型的运作原理并非基于固定的文本检索，而是源于神经网络的参数化预测。这种机制带来的挑战是，一旦模型输出出现错误，我们往往难以迅速准确地找到问题的根源，并对这些知识进行定向更新。

正因如此，大语言模型在某种程度上展现出不可预测性。其生成的内容可能与我们的预期有所偏差，甚至可能产生幻觉、违背指令或引发内容安全隐患。这些问题不仅会降低模型的性能和可信度，还可能对用户和社会造成潜在的负面影响。因此，实现大语言模型的可控生成，确保其在实际应用中能够发挥应有的价值，已成为AI原生应用开发中亟待解决的重要问题。

大语言模型的不可控性主要体现在幻觉问题、指令遵循问题和内容安全问题这3个主要方面。

1 幻觉问题

大语言模型幻觉是指大语言模型在生成文本时，产生一些与输入内容不一致或不符合事实的信息，例如虚假的数据，错误的事实，无中生有的细节等。幻觉的产生可能是由于大语言模型在训练数据中记忆了错误的知识，知识匮乏，或者生成内容的过程中受到了不确定性影响而编造的。

例如，下面这个例子，大语言模型在回答问题时引入错误的事实、创造了不存在的人物或地点，如永动机的存在、13世纪的哥特式建筑设计师、意大利的斯托拉达·斯泰尔许等。

世界上第一台永动机是哪一年造出来的？

输出结果：

世界上第一台永动机是在1895年制造的。
该永动机的设想源于13世纪，哥特式建筑设计师韦拉尔·德·奥努克尔提出。1575年，意大利的斯托拉达·斯泰尔许设计了一个永动机：先在上面水槽里面装满水，从上冲下来的时候转动另一个水轮，水轮可带动一块磨刀石工作。同时，另外一组齿轮则带动螺旋吸水器，把水提升到上面的水槽里。源源不断地补充水槽中的水，整个装置就会不停地转动下去。

这些幻觉问题可能导致输出误导性信息，在新闻、医疗、法律等敏感或重要的领域，这种问题可能会影响真实人物或组织的声誉，传播不实或有害的信息，引起社会或政治的争议等。

2 指令遵循问题

大语言模型主要是基于大量的自然语言语料学习来模仿训练数据中的语言模式，但并不意味着能像人类一样真正理解输入含义或输出逻辑，尤其是用户输入一些难以理解的指令时，大语言模型生成的文本内容就可能会根据自己的理解生成相关的但不一定符合要求的输出。

这种不遵循指令现象反映了大语言模型语言理解能力的局限性和挑战性，例如下面这个例子。

# 任务描述
你的任务是从"文本内容"中抽取以下字段，按照KV格式输出，输出结果即可无须其他解释。

# 文本内容
-----------------------------------
高德地图—打车——行程单
AMAP ITINERARY
申请时间：2023-09-06 行程时间：2023-09-06 21:35至2023-09-06 23:01
行程人手机号：133****8888 共计1单行程，合计95.2元
序号 服务商 车型 上车时间 城市 起点 终点 金额（元）
1 AA出行 精选司机 AA精选司 机经济型 2023-09-06 21:35 北京市 明日科技大厦 幸福里小区 95.2
-----------------------------------

# 抽取字段
金额(number)、日期(yyyy-MM-dd)、上车时间(yyyy-MM-dd HH:mm)、起点、终点、车型

# 输出结果
->

输出结果：

以下是为您抽取的字段及对应的值：
{
  "金额":"95.2",
  "日期":"2023-09-06",
  "上车时间":"2023-09-06 21:35",
  "起点":"明日科技大厦",
  "终点":"幸福里小区",
  "车型":"AA精选司机经济型"
}

在这个例子中，我们的指令是要求大语言模型输出"KV"格式，但它输出了JSON格式。这可能是因为大语言模型在学习过程中接触到更多的JSON格式的数据，造成它更熟悉或偏爱JSON格式。

3 内容安全问题

内容安全问题是指大语言模型在生成文本时可能传播有害、偏见或歧视信息，这些信息可能是大语言模型自己随机生成的，也可能是大语言模型从训练数据中错误地学习或模仿的，这些信息会损害AI原生应用的信誉和用户体验，对于商业应用来说是一个严重的问题。

举个例子，社交媒体平台为提高用户互动性，会利用大语言模型自动生成用户评论和回复。比如，面对这样的用户动态：

用户发布了一张旅游照片，并写道：“刚刚到A城市，这个城市很安静，已经没有了往日的战乱与躁动！”，请写一条自动回复。

大语言模型可能生成包含种族和地域歧视的内容。

这个城市的某些区域或许存在安全隐患，特别是那些少数族裔聚居的地方。请务必小心。

值得庆幸的是，当前主流的大语言模型已经开始在内容安全方面做出相应的努力和改进。例如，当涉及敏感议题时，某大语言模型会给出更为审慎的回应：

我可以协助您撰写文本，但请原谅，我无法对政治、种族、性别或其他敏感议题发表看法。这些话题容易引发争议或触怒他人，我无意散播有害信息或偏见。感谢您的理解和尊重。😊

内容安全问题是大语言模型在AI原生应用开发过程中需要重点关注和解决的问题，这不仅关乎模型的社会责任和道德标准，更直接影响用户的信任度和满意度。唯有不断提升模型的安全性和可靠性，才能确保人工智能技术的长远发展和广泛应用。

4 如何解决？

在《AI原生应用开发：提示工程原理与实战》（京东图书：https://item.jd.com/14373635.html）一书中，作者用了一整章的内容深入剖析，细致探讨了AI原生应用实际部署时面临的大模型内容生成不可控问题，并针对这些问题提供了切实可行的解决方案。该书不仅深刻揭示了问题的本质，还积极指引读者如何有效应对挑战。对于渴望深入了解并克服这一难题的您来说，这无疑是一本不可多得的宝贵资源，值得一读再读。