Tell me the truth: A system to measure the trustworthiness of Large Language Models

本文是LLM系列文章，针对《Tell me the truth: A system to measure the trustworthiness of Large Language Models 》的翻译。

摘要

自2022年11月推出ChatGPT以来，大型语言模型（LLM）一直占据着大多数新闻的首位。一年多以来，公司拒绝采用这些系统的主要原因之一是他们对这些系统的可信度信心有限。在一项研究中，ChatGPT-4在识别网站可用性问题时显示出80.1%的假阳性错误率。《美国医学会杂志儿科学》1月24日的一项研究发现，ChatGPT在诊断儿科医学病例时的准确率为17%。但是，什么是“信任”？信任是一种相对的、主体的条件，它可以根据文化、领域和个人而变化。然后，给定一个域，如何衡量系统的可信度？在本文中，我提出了一种基于预定义的基本事实来测量可信度的系统方法，该基本事实表示为领域的知识图谱。该方法是一个由人在循环中验证域的表示并微调系统的过程。
衡量可信度对于在医疗、国防、金融等关键环境中运营的所有实体都至关重要，但它对LLM的所有用户都非常重要。

引言

整体背景

文献

本文的目标

方法

结论和未来发展

所提出的系统提供了一种有效的方法来测量作为给定问题的答案提供的一组句子的给定知识体的可比性。
这种可比性是LLM可信度的黑匣子解决方案。正如文献综述中所说，信任包括几个不同的组成部分，如准确性、可靠性以及与人类价值观和社会规范的一致性。虽然准确度和可靠性可以被视为该系统的特征，但与人类、社会和领域特定价值观的一致性应该嵌入该系统的知识体系中。这意味着在本文所述的方法中，知识