LLM Hallucination

What is hallucination?

训练出来的大模型，有可能给出一些不正确的，胡编乱造的答案。

Why hallucination?

个人理解可能是因为训练模型的资料很多很杂，可以想象成一个人什么都学，那么就有可能产生一些错误的认知，给出奇怪的答案。

How to solve hallucination?

根据最近的一些了解，RAG（retrieval augmented generation）应该可以消除一些hallucination。这个原理是提供给模型专业的数据和资料，让模型基于这些专业的资料库，生成确定且专业的答案，如果问题找不到答案，LLM也会知道这个问题它不会。

另外，Finetuning和prompt engineering应该也可以减少hallucination。

prompt engineering是提示词工程，给模型预先输入额外的提示词，可以帮助模型理解需要做什么任务。比如让它做一个中文翻译英文的任务，可以预先输入一些“中文，英文”的pattern，使模型知道下一个中文输入，它要输出对应英文。

Finetuning是给一些输入数据，在原有的基础上微调模型，比如调节模型的weights，过程可能跟模型训练类似。

上述三种技术应该可以结合起来使用，让LLM变得更加专业和准确，而不仅仅是语句接龙的功能。

What is future?

当前大模型能力还是有限，可以让现有的生产工具进一步升级，降低很多行业的进入门槛，比如，之前修图需要了解很多PS的使用方法和一些晦涩专业的PS工具词语，有了AI的加成之后，新的修图工具只要求修图人的审美水平在线，AI可以直接接收譬如“让皮肤变白”这样的自然语言指令。

未来大模型如果可以完成更复杂的任务，可能是目前炒作的AI Agency的概念，并且准确率超过人类的情况下，可以进一步提升生产工具，直接取代很多职业也是有可能的。