Exploring the Capabilities of Multimodal Large Language Models on Medical Challenge Problems

评估多模态大型语言模型在医疗挑战中的表现

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量118

点赞数

CC 4.0 BY-SA版权

分类专栏： Multimodal LLM for Medical 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137399593

LLM 日更同时被 3 个专栏收录

828 篇文章

已下架不支持订阅

Multimodal

164 篇文章

订阅专栏

LLM for Medical

66 篇文章

订阅专栏

本文详尽评估了谷歌的Gemini多模态大型语言模型在医学推理、幻觉检测和医学视觉问答任务中的性能。虽然Gemini在某些医学科目展示出理解力，但诊断准确性和处理复杂视觉问题方面落后于MedPaLM 2和GPT-4。Gemini易产生幻觉，提示其在可靠性和可信度上的改进需求。研究还提出了标准化评估工具，以推动未来模型发展并强调负责任和透明的进步。

本文是LLM系列文章，针对《Gemini Goes to Med School: Exploring the Capabilities of Multimodal Large Language Models on Medical Challenge Problems & Hallucinations》的翻译。

摘要

大型语言模型在医疗保健行业具有潜在的价值，但通过严格的评估验证其安全性和有效性至关重要。为此，我们在医学推理、幻觉检测和医学视觉问答任务中全面评估了开源LLM和谷歌新的多模式LLM Gemini。虽然Gemini表现出了能力，但在诊断准确性方面落后于MedPaLM 2和GPT-4等最先进的模型。此外，Gemini在医疗VQA数据集上的准确率为61.45%，显著低于GPT-4V 88%的得分。我们的分析表明，Gemini非常容易产生幻觉、过度自信和知识差距，这表明如果不加批判地部署，就会有风险。我们还按受试者和测试类型进行了详细分析，为开发人员和临床医生提供了可操作的反馈。为了降低风险，我们采用了提高绩效的激励策略。此外，我们还发布了一个用于医学LLM评估的Python模块，并在医学领域LLM的huggingface上建立了一个专门的排行榜，从而促进了未来的研发。Python模块位于https://github.com/promptslab/RosettaEval/。