“大模型”技术专栏 | 和鲸 AI Infra 架构总监朱天琦：大模型微调与蒸馏技术的全景分析与实践指南（上）

编者按：

人工智能正以前所未有的渗透力重塑生产与生活图景。作为国内领先的数据智能科技企业，和鲸科技自 2015 年成立以来，深耕人工智能与数据科学，历经十年发展，已在气象、教育、医疗、航空航天、金融、通信、能源、零售等领域，与众多高校、科研机构、企业等单位展开了深度合作。

大模型技术正掀起新一轮产业变革浪潮。在此背景下，和鲸科技 AI Infra 架构总监朱天琦基于在大模型业务领域的丰富经验，解析大模型在实际应用中的实践案例与优化路径。

分享嘉宾

朱天琦 和鲸科技 AI Infra 架构总监

全面负责和鲸科技架构组相关工作，持续推动公司 AI Infra 基础设施的构建，特别在大模型平台与分布式系统领域取得了显著成果。

本篇为分享上篇，聚焦大模型微调与蒸馏技术的全景分析。

背景与需求

随着大型语言模型(LLM)的快速发展，企业和组织迫切需要将这些强大的通用模型适配到特定业务场景中。然而，直接部署基础模型往往面临知识局限、能力不足、资源消耗过大等挑战。模型优化技术如微调和蒸馏已成为连接通用大模型与特定业务需求的关键桥梁，能够显著提升模型在目标场景中的表现并优化部署效率。本章探讨大模型在实际应用中的主要瓶颈以及可行的优化路径，为后续技术选择奠定基础。

大模型能力边界与业务需求的差距

1 计算资源与部署成本挑战

• 尽管DeepSeek模型采用了混合专家(MoE)架构仅激活671B参数中的37B用于处理每个token，大幅提高效率，但完整模型的部署仍需要可观的计算资源比如最小的fp8部署规格为8卡H20，且只能支持3K左右的context。

• 蒸馏模型虽然降低了门槛，但小型模型(如1.5B-7B)在复杂任务上的能力有限，大型蒸馏模型(32B-70B)仍需较高硬件配置，32B为1卡H20，70B为2卡H20。

• 研究机构需要平衡模型性能与成本效益，特别是大规模模型服务场景。

2 推理一致性与可解释性不足

• 虽然DeepSeek-R1增强了推理能力，展示了与其他领先竞争对手相当的推理和数学技能，但在复杂业务场景中仍存在推理链断裂和逻辑跳跃。

• 模型对自身推理过程的解释有时不完整或存在后验合理化，影响关键业务决策的可信度。

• 业务应用通常需要可审计的决策链，尤其在医疗和法律等高风险领域。

3 领域知识深度与时效性限制

• 尽管基于开源代码和广泛数据训练，但在高度专业化的垂直领域知识深度仍然不足。

• 企业专有信息和内部知识无法自动获取，需要额外的检索增强机制。

4 系统集成与工具使用挑战

• 开源模型通常缺乏与企业现有系统的原生集成能力，确保与现有AI工具和工作流程的无缝兼容需要持续更新。

• 复杂工具链调用和多步骤操作执行能力有限，难以自动化完成端到端业务流程。

• 企业级应用需要稳定的API和完善的管理工具，而开源模型的支持体系有待完善。

5 隐私安全与合规风险

• 虽然开源带来透明度，但也引发安全漏洞、滥用风险和专业商业支持不足的担忧。

• 模型可能无意中泄露训练数据中的敏感信息，或生成不符合行业规范的内容。

• 企业部署需要满足数据保护法规，而现有模型的安全防护机制不够全面。

6 推理延迟与实时交互限制

• 链式思考推理虽然增强了问题解决能力，但也会降低响应时间，给实时应用带来挑战。

• 复杂分析任务的处理时间可能无法满足对即时决策的业务需求。

• 用户体验要求毫秒级响应，而深度推理过程难以实现这一目标。

现有模型能力优化路径概述：基础模型迭代、提示词工程与模型定制

基础模型迭代路径：

  开源模型选择与组合：

<