Towards Training A Chinese Large Language Model for Anesthesiology

本文是LLM系列文章，针对《Towards Training A Chinese Large Language Model for Anesthesiology》的翻译。

摘要

医学大语言模型（LLM）由于其显著的实用性，近年来越来越受欢迎。然而，现有的大多数研究都集中在普通医学上，需要在麻醉学等特定领域对LLM进行深入研究。为了填补这一空白，我们引入了Hypnos，这是一种建立在现有LLM基础上的中国麻醉模型，例如Llama。Hypnos的贡献有三个方面：1）从当前LLM中获得的数据，如使用自我指导，可能包括不准确之处。Hypnos采用交叉过滤策略来提高数据质量。该策略包括使用一个LLM来评估从另一个LLM生成的数据的质量，并过滤掉低质量的数据。2） Hypnos采用通用到特定的训练策略，首先使用普通医学数据微调LLM，然后使用专门来自麻醉学的数据改进微调LLM。一般医学数据补充了麻醉学的医学专业知识，增强了Hypnos生成的有效性。3） 我们介绍了一个评估麻醉医学LLM的标准化基准。我们的基准包括来自互联网的公开病例和来自医院的私人病例。Hypnos在指标、GPT-4和基准数据集上的人类评估方面优于麻醉学中的其他医学LLM。

1 引言

2 相关工作

3 HYPNOS

4 实验

5 结论

本文提出了第一个中文麻醉大语言模型：Hypnos。引入了两种有用的策略：1）从现有LLM中获得高质量数据的交叉过滤策略和2）充分利用一般和特定医学数据的一般到特定训练策略，以获得特定医学领域的LLM。麻醉数据集的实验结果证明了我们的Hypnos的竞争力和我们提出的策略的有用性。学习麻