PediaBench: A Comprehensive Chinese Pediatric Dataset for Benchmarking Large Language Models

本文是LLM系列文章，针对《PediaBench: A Comprehensive Chinese Pediatric Dataset for Benchmarking Large Language Models》的翻译。

摘要

大型语言模型（LLM）在医学领域的出现强调了对标准数据集的迫切需求，以评估其问答（QA）性能。尽管已经有几个用于医疗质量保证的基准数据集，但它们要么涵盖了不同部门的常识，要么特定于另一个部门而不是儿科。此外，其中一些仅限于客观问题，并不衡量LLM的生成能力。因此，他们无法全面评估儿科LLMs的QA能力。为了填补这一空白，我们构建了PediaBench，这是第一个用于LLM评估的中国儿科数据集。具体来说，它包含4565个客观问题和1632个主观问题，涉及12个儿科疾病组。它采用基于不同难度水平的综合评分标准，全面评估LLM在指令跟随、知识理解、临床病例分析等方面的熟练程度。最后，我们在20个开源和商业LLM上进行了广泛的实验，验证了PediaBench的有效性。通过对实验结果的深入分析，我们深入了解了LLMs在中国背景下回答儿科问题的能力，并强调了它们在进一步改进方面的局限性。我们的代码和数据发布在https://github/ACMISLab/Ped