垂直领域大模型微调实践经验总结

本篇从基座模型选择、模型整体架构、数据设计、训练微调四个角度总结垂直领域大模型微调经验。

本篇将现有垂类大模型微调已公布的实践经验做一个全面的总结，大部分经验实测可推广，大家在自己实践过程中可以进行适当参考。

下面是一个快捷目录，其中数据设计和训练微调是重点。

1. 基座模型选择

2. 模型整体架构

3. 数据设计

4. 训练微调

一、基座模型选择

1. 医学类大模型微调怎么选择大模型

推荐BLOOMZ模型

BLOOMZ 模型系列使用了PILE语料库进行训练，该语料库包含各种医学文本，包括PubMed Central 和 PubMed Abstracts等。BLOOMZ模型的医学知识体系比较丰富。

二、模型整体架构

1. 不要指望一个单个垂直领域的LLM就可以满足所有需求，合理的做法可能是实时更新的知识库+微调的医疗LLM ，如 ChatLaw (https://github.com/PKU-YuanGroup/ChatLaw)

2. 超大参数模型(至少百亿) 即使被量化其能力依然能保持的较好。

三、数据设计

1. 在LLM时代，需要牢记 数据质量 > 数量 这个真理，如：[Less is More!