Tell me the truth: A system to measure the trustworthiness of Large Language Models

本文是LLM系列文章，针对《Tell me the truth: A system to measure the trustworthiness of Large Language Models 》的翻译。

摘要

自2022年11月推出ChatGPT以来，大型语言模型（LLM）一直占据着大多数新闻的首位。一年多以来，公司拒绝采用这些系统的主要原因之一是他们对这些系统的可信度信心有限。在一项研究中，ChatGPT-4在识别网站可用性问题时显示出80.1%的假阳性错误率。《美国医学会杂志儿科学》1月24日的一项研究发现，ChatGPT在诊断儿科医学病例时的准确率为17%。但是，什么是“信任”？信任是一种相对的、主体的条件，它可以根据文化、领域和个人而变化。然后，给定一个域，如何衡量系统的可信度？在本文中，我提出了一种基于预定义的基本事实来测量可信度的系统方法，该基本事实表示为领域的知识图谱。该方法是一个由人在循环中验证域的表示并微调系统的过程。
衡量可信度对于在医疗、国防、金融等关键环境中运营的所有实体都至关重要，但它对LLM的所有用户都非常重要。

引言

整体背景

文献

本文的目标

方法