QualBench: Benchmarking Chinese LLMs with Localized Professional Qualifications for Vertical Domain

一、文章主要内容总结

本文聚焦于中文大语言模型（LLMs）在垂直领域的评估问题，提出了首个基于中国本土职业资格考试的多领域中文问答基准QualBench。数据集覆盖安全生产、消防安全、建筑工程、经济金融、石油天然气、银行保险6个垂直领域，包含来自24项职业资格考试的17,298道题目，强调本地化和政策一致性。

通过实验评估发现，中文LLM（如Qwen2.5）在本土领域知识上显著优于非中文模型（如GPT-4o），但最高准确率仅75.26%，表明模型在专业知识覆盖上仍有不足。此外，LLM众包机制（如投票法）未能超越单一强模型，揭示了协作效率的局限。研究还讨论了检索增强生成（RAG）和联邦学习在垂直领域模型训练中的潜力，并指出数据污染、领域不平衡和题型单一等局限性。

二、文章创新点

1. 首个本土化垂直领域基准
   构建了首个基于中国职业资格考试的多领域评估基准QualBench，覆盖6大领域24项考试，填补了现有中文LLM评估在垂直领域和本土语境的空白。

2. 强调本地化知识的重要性
   实验证明中文LLM在本土领域知识上显著优于非中文模型（如Qwen2.5超越GPT-4o），突显了本地化训练数据对符合中国职业标准的关键作用。

3. 揭示模型能力边界与改进方向
   发现单一强模型性能优于LLM众包协作，并提出通过跨领域RAG知识增强和联邦学习优化垂直领域模型，为后续研究提供方向。