Into the Unknown: Self-Learning Large Language Models

本文是LLM系列文章，针对《Into the Unknown: Self-Learning Large Language Models》的翻译。

摘要

我们解决了自学习LLM的主要问题：学习什么的问题。我们提出了一个自学习LLM框架，使LLM能够通过对自己幻觉的自我评估独立学习以前未知的知识。利用幻觉评分，我们引入了一个新的未知点（PiUs）概念，以及一种外在和三种内在的自动识别PiUs的方法。它有助于创建一个自学习循环，专门关注未知点中的知识差距，从而降低幻觉得分。我们还开发了用于衡量LLM自学习能力的评估指标。我们的实验表明，经过微调或调整的7B Mistral模型能够很好地进行自学习。我们的自学习概念允许更高效的LLM更新，并为知识交流开辟了新的视角。这也可能增加公众对人工智能的信任。

1 引言

2 相关工作

3 为什么需要自学习

4 已知与未知、未知中的点（PiU）的概念

5 PiU的识别方法

6 自学习LLM

7 自我学习能力的衡量标准

8 实验

9 讨论

10 结论

在这项工作中，我