实现方式
对比最后一层出来的logit，和前面Layer出来的logit，消除差异过大的分布，从而降低幻觉：
-
最后一层Layer出来的logit容易的得到；
-
选择与最后一层的logit最不相似的分布的那层结果
实现原理
也是很简单的对比方式，最终的logit由最后一层的Layer输出的logit，减去前期选择的层的logit，
得到最终的logit
对比不同Layer输出，在解码阶段消除大模型幻觉
于 2024-02-19 17:38:47 首次发布
本文介绍了一种深度学习模型中减少幻觉现象的方法，通过比较最后一层的logit与其他层的结果，选择最不相似的分布进行融合，以此来改进模型的性能。这种方法通过简单的对比策略调整logit值，有助于提高模型的稳定性和准确性。
部署运行你感兴趣的模型镜像
您可能感兴趣的与本文相关的镜像
AutoGPT
AI应用
AutoGPT于2023年3月30日由游戏公司Significant Gravitas Ltd.的创始人Toran Bruce Richards发布,AutoGPT是一个AI agent（智能体），也是开源的应用程序，结合了GPT-4和GPT-3.5技术，给定自然语言的目标，它将尝试通过将其分解成子任务，并在自动循环中使用互联网和其他工具来实现这一目标
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
