Twinkle0110的博客

原创 论文阅读Nature：Detecting hallucinations in large language models using semantic entropy(使用语义熵来检测大模型中的幻觉）

对于大段文字，首先提取出多个事实片段，对每个片段，用LLM想出多个回答应该是这个片段的问题，再把每个问题向大模型提问，能得到关于这一个事实的很多个回答（提问方式并不一样），把这些回答和事实片段放在一起，聚类，看熵的情况（和a中逻辑一致），然后判断是否是confabulations。基础知识，详细见百度。语义熵大的回答被本文认为是“虚构内容”的可能性大。本文的目的是为了解决大预言模型的幻觉问题，但由于“幻觉”的定义是过于广泛的，且导致幻觉的原因是多种的，本文只关注“幻觉”的一个子集（一个种类）—— —— （