Survey of Specialized Large Language Model

论文《Survey of Specialized Large Language Model》总结与翻译

一、文章主要内容总结

本文系统综述了2022-2025年专用大型语言模型（Specialized LLMs）的发展历程、技术突破、应用场景及未来方向，核心内容如下：

（一）发展背景与范式转变

通用大型语言模型（如GPT-4）在专业领域存在局限性，需精准理解技术术语、特殊推理模式（如医疗诊断的概率推理、金融市场的时序推理），由此推动专用LLM从“领域适配”向“原生架构设计”的范式转变。其发展历经三阶段：

1. 早期阶段（2022年前后）：基于通用模型的领域续预训练，如BioGPT（基于GPT-2适配生物医学领域）；
2. 中期阶段（2023年）：引入领域感知组件的架构创新，如BloombergGPT的金融时序嵌入、Med-PaLM 2的临床推理模块；
3. 近期阶段（2024-2025年）：融合符号知识库与动态适配机制的混合系统，如BLADE的知识注入框架、Self-MoE的专家路由系统。

（二）核心技术突破

1. 领域专用模型进展
   • 生物医学领域：BioMedLM（27亿参数，优化生物医