7、GAN 基编码器 - 解码器模型：多标签诊断扫描分类与自动放射报告生成

GAN 基编码器 - 解码器模型：多标签诊断扫描分类与自动放射报告生成

1. 引言

放射科医生每天都要分析患者的诊断性医学图像以做出诊断。然而，对每次扫描进行分析、解读并创建文本诊断报告的过程，需要具备广泛的解剖学知识、识别疾病特定视觉症状的能力，以及了解与其他诊断结果（如病理学检查）的关联等技能。即使是经验丰富的放射科医生，创建诊断报告也是一项具有挑战性的任务，每天重复性地手动分析数百张不同的放射图像，往往会导致认知疲劳，使这一挑战更加严峻。据报道，平均诊断误差在 3% 至 5% 之间，这意味着全球每年有超过 4000 万例误诊，对患者的健康产生重大不利影响。

造成这些不可避免失误的因素通常包括：训练有素的放射科工作人员严重短缺、繁忙医院每天进行大量的诊断扫描、需要快速分析、认知偏差以及人为疲劳等。

让计算机自动理解图像中的上下文内容并以自然语言提供合理描述，如今已成为一项至关重要的任务。由于可用数据量巨大，且数据具有流式传输的特点，这一任务的重要性更加凸显。在临床实践中，医学专家和研究人员通常会撰写诊断报告，记录图像中的微观发现。因此，医学图像的自动字幕生成将为医疗服务提供者提供有价值的见解，并减轻他们在整个临床工作流程中的负担。医学图像字幕生成的挑战在于推动将医学图像的视觉信息映射为简洁文本描述的方法学发展。字幕生成任务可视为医学图像分类任务的一部分，并且可以成为医疗信息管理系统（HIMS）软件的重要补充。

图像处理和基于计算机视觉（CV）的技术已被应用于设计手术和成像干预的应用程序。这些系统通过自动化与诊断相关的某些任务，或预测多种异常情况的严重程度和生成放射报告，扩展了医疗专业人员的临床决策能力。在这些系统中融入人工智能（AI）以支持学习行为至关重要