本文是LLM系列文章,针对《Gemini Goes to Med School: Exploring the Capabilities of Multimodal Large Language Models on Medical Challenge Problems & Hallucinations》的翻译。
摘要
大型语言模型在医疗保健行业具有潜在的价值,但通过严格的评估验证其安全性和有效性至关重要。为此,我们在医学推理、幻觉检测和医学视觉问答任务中全面评估了开源LLM和谷歌新的多模式LLM Gemini。虽然Gemini表现出了能力,但在诊断准确性方面落后于MedPaLM 2和GPT-4等最先进的模型。此外,Gemini在医疗VQA数据集上的准确率为61.45%,显著低于GPT-4V 88%的得分。我们的分析表明,Gemini非常容易产生幻觉、过度自信和知识差距,这表明如果不加批判地部署,就会有风险。我们还按受试者和测试类型进行了详细分析,为开发人员和临床医生提供了可操作的反馈。为了降低风险,我们采用了提高绩效的激励策略。此外,我们还发布了一个用于医学LLM评估的Python模块,并在医学领域LLM的huggingface上建立了一个专门的排行榜,从而促进了未来的研发。Python模块位于https://github.com/promptslab/Rosett