SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models

本文是LLM系列文章,针对《SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models》的翻译。

SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models

摘要

大型语言模型(LLM)已经证明了其卓越的能力,但它们的输出有时可能不可靠或事实不正确。为了解决这个问题,我们引入了Self-Logits进化解码(SLED),这是一种新的解码框架,可以增强LLM的真实性,而不依赖于外部知识库或需要进一步的微调。从优化的角度来看,我们的SLED框架通过对比最后一层和早期层的输出逻辑,利用了LLM中嵌入的潜在知识。然后,它利用近似梯度方法使潜在知识能够指导输出的自我细化,从而有效地提高了事实的准确性。在各种模型族(LLaMA 2、LLaMA 3、Gemma)和规模(从2B到70B)的既定基准上进行了广泛的实验,包括更先进的架构配置,如专家混合(MoE)。我们的评估涵盖了各种各样的任务,包括多选、开放生成和对思维链推理任务的适应。结果表明,与现有的解码方法相比,SLED始终将事实准确性提高了20%,同时保持了自然语言的流畅性和可忽略的延迟开销。此外,它可以灵活地与其他解码方法相结合,以进一步提高其性能。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值