医疗AI新突破！多模态对齐网络精准预测X光生存，自动生成医疗报告！

PS：写在前面，近期感谢很多小伙伴关注到我写的论文解读，我也会持续更新吖~同时希望大家多多支持本人的公主号~

想了解更多医学图像论文资料请移步公主👸号哦~~~后期将持续更新！！

关注我，让我们一起学习新知识，一起进步吧~~~笔芯！！

---

目录

概览

Abstract

Background

Method

Experiment

Conclusion

Assignment

历史文章

---

概览

论文标题：

Multi-modality Regional Alignment Network for Covid X-Ray Survival Prediction and Report Generation

论文链接：

https://arxiv.org/pdf/2405.1411

代码链接：

GitHub - zzs95/MRANet

Abstract

随着大型视觉语言模型（LVLMs）在医疗保健应用中的日益重要，包括医疗视觉问题解答和成像报告生成，这些模型在展现强大能力的同时，也继承了基础大型语言模型（LLMs）的幻觉倾向。幻觉指的是生成看似事实但无根据的内容，这在医疗领域尤其危险，因为容错率极低。然而，目前医疗领域缺乏针对幻觉检测和评估的专用方法和基准。为了填补这一空白，本文提出了Med-HallMark，首个专为医疗多模态领域设计的幻觉检测和评估基准。该基准提供了多任务幻觉支持、多面幻觉数据和层次化幻觉分类。此外，还提出了MediHall Score，一种新的医疗评估指标，通过考虑幻觉的严重性和类型，进行层次化评分，从而实现对潜在临床影响的细致评估。同时，本文还介绍了MediHallDetector，一种为精确幻觉检测而设计的新型医疗LVLM，采用多任务训练。实验结果表明，MediHall Score相比传统指标提供了更细致的理解，而MediHallDetector则表现出增强的性能。

本文贡献：

1.提出MRANet模型：该模型创新性地