35-大模型评测篇

大模型怎么评测？

当前superGLUE, GLUE, 包括中文的CLUE的benchmark都在不太合适评估大模型。可能评估推理能力、多轮对话能力是核心。

大模型的honest原则是如何实现的？模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力？

大模型需要遵循的helpful，honest，harmless的原则。

可以有意构造如下的训练样本，以提升模型准守honest原则，可以算trick了：
微调时构造知识问答类训练集，给出不知道的不回答，加强honest原则；

阅读理解题，读过的要回答，没读过的不回答，不要胡说八道。

如何衡量大模型水平？

要评估一个大型语言模型的水平，可以从以下几个维度提出具有代表性的问题。

• 理解能力：提出一些需要深入理解文本的问题，看模型是否能准确回答。
• 语言生成能力：让模型生成一段有关特定主题的文章或故事，评估其生成的文本在结构、逻辑和语法等方面的质量。
• 知识面广度：请模型回答关于不同主题的问题，以测试其对不同领域的知识掌握程度。这可以是关于科学、历史、文学、体育或其他领域的问题。一个优秀的大语言模型应该可以回答各种领域的问题，并且准确性和深度都很高。
• 适应性：让模型处理各种不同类型的任务，例如：写作、翻译、编程等，看它是否能灵活应对。
• 长文本理解