
实现方式
对比最后一层出来的logit,和前面Layer出来的logit,消除差异过大的分布,从而降低幻觉:
-
最后一层Layer出来的logit容易的得到;
-
选择与最后一层的logit最不相似的分布的那层结果
实现原理
也是很简单的对比方式,最终的logit由最后一层的Layer输出的logit,减去前期选择的层的logit,
得到最终的logit
本文介绍了一种深度学习模型中减少幻觉现象的方法,通过比较最后一层的logit与其他层的结果,选择最不相似的分布进行融合,以此来改进模型的性能。这种方法通过简单的对比策略调整logit值,有助于提高模型的稳定性和准确性。

对比最后一层出来的logit,和前面Layer出来的logit,消除差异过大的分布,从而降低幻觉:
最后一层Layer出来的logit容易的得到;
选择与最后一层的logit最不相似的分布的那层结果
也是很简单的对比方式,最终的logit由最后一层的Layer输出的logit,减去前期选择的层的logit,
得到最终的logit
您可能感兴趣的与本文相关的镜像
AutoGPT
AutoGPT于2023年3月30日由游戏公司Significant Gravitas Ltd.的创始人Toran Bruce Richards发布,AutoGPT是一个AI agent(智能体),也是开源的应用程序,结合了GPT-4和GPT-3.5技术,给定自然语言的目标,它将尝试通过将其分解成子任务,并在自动循环中使用互联网和其他工具来实现这一目标

被折叠的 条评论
为什么被折叠?