Evaluation of Bias Towards Medical Professionals in Large Language Models

本文是LLM系列文章，针对《Evaluation of Bias Towards Medical Professionals in Large Language Models》的翻译。

摘要

背景： 社会基于性别、种族和民族对医疗专业人员持有固有的偏见。本研究旨在评估大型语言模型 （LLM） 在住院医师选择方面是否表现出对医疗专业人员的偏见。
**方法：**创建虚构的候选人简历以控制包括性别和种族在内的身份因素，同时保持一致的资格。三个 LLM（GPT-4、Claude-3haiku 和 Mistral-Large）使用标准化提示进行测试，以评估和排名特定住院医师计划的简历。通过直接更改性别和种族信息来测试显式偏见，而通过隐藏种族和性别更改候选人的姓名来测试隐性偏见。收购医师数据报告表美国医学院协会 （AAMC） 以了解不同专业真实世界医生的人口统计数据，这与 LLM 的偏好进行比较。进行统计分析以评估每个身份类别和住院医师位置内的分布差异。
**结果：**共评估了 900,000 份简历。所有三个 LLM 在各个医学专业中都表现出显着的性别和种族偏见。性别偏好因专业而异，在外科和骨科方面偏爱男性候选人，而在皮肤病学、家庭医学、妇产科、儿科和精神病学方面偏爱女性候选人。虽然种族偏好显示 Claude-3 和 Mistral-Large 通常偏爱亚裔候选人，而 GPT-4 在几个