本文介绍了一种自学习大型语言模型（LLM）的框架，该框架让LLM能通过自我评估学习新知识。提出了未知点（PiU）的概念及识别方法，创建自学习循环以填补知识空白。实验表明，经过微调的模型能有效地进行自学习，这种方法可能提高人工智能的信任度。
本文是LLM系列文章，针对《Into the Unknown: Self-Learning Large Language Models》的翻译。
走进未知：自学大型语言模型
摘要
我们解决了自学习LLM的主要问题：学习什么的问题。我们提出了一个自学习LLM框架，使LLM能够通过对自己幻觉的自我评估独立学习以前未知的知识。利用幻觉评分，我们引入了一个新的未知点（PiUs）概念，以及一种外在和三种内在的自动识别PiUs的方法。它有助于创建一个自学习循环，专门关注未知点中的知识差距，从而降低幻觉得分。我们还开发了用于衡量LLM自学习能力的评估指标。我们的实验表明，经过微调或调整的7B Mistral模型能够很好地进行自学习。我们的自学习概念允许更高效的LLM更新，并为知识交流开辟了新的视角。这也可能增加公众对人工智能的信任。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
