伴随着大模型技术的飞速发展，大模型市场的竞争焦点也从模型能力转向落地能力。然而，当前大模型的落地应用还面临着诸多瓶颈。一方面，高算力需求与成本的博弈逐渐深化，随着大模型参数逐渐增加，高显存、高带宽、高性能的算力支撑成为必选项，单纯依靠硬件性能、硬件堆叠，不仅加剧产业落地成本，更难以形成可持续的商业闭环，如何在有限算力条件下进一步提升性能幷降低成本？另一方面，激增的推理需求促使了对多样场景下差异化性能需求的关注。智能客服、对话系统等场景需即时反馈，对时延要求严格；视频生成、训练数据集生成等场景需批量输出，对吞吐率有较高需求；RAG、Agent等服务形式的发展，对长上下文处理能力提出更高要求。如何在差异场景下实现针对性优化、提升服务质量？
在鲲鹏昇腾开发者大会（KADC 2025) 上，科大讯飞、趋境科技、润和软件、无问芯穹等企业代表坐客KADC 会客厅，从训练推理的算力成本到技术适配再到行业落地，为大模型的行业落地实践给出了正确示范。
从训练推理成本到技术适配，昇腾如何构建企业方案？
DeepSeek的出现直接把大模型训练推理的成本压缩至新低，对于企业而言，如何在有限算力条件下，通过优化算法和硬件协同，显著降低推理成本，实现多场景高效应用，推动大模型落地步入新阶段是当下需要解决的重要问题。
基于此，几家企业也在现场展示了他们在模型训练和集群算力应用、软硬件技术适配等方面的成功实践。
Q1：能否就双方合作的细节，谈谈昇腾在其中做了哪些助力？
科大讯飞张海俊：和昇腾的合作早在2019年就开始了，但深层次的战略合作是从2023年开始的。
合作重点主要在两方面：一是超大集群的训练，也是国内最早一批介入这块工作的，我们与昇腾成立了一个特战队，涵盖工程、算法、框架、算子、数据管理等各环节，每天迭代1-2个技术方案，不断验证迭代，最终解决了在大规模训练下的模型效果问题，最终保障了2023年底模型的顺利发布。二是强化学习，在 OpenAI 相关技术发布后，科大讯飞迅速跟进分析算法实现方案，与昇腾团队就技术方案展开无保留沟通，双方通过密切交流明确优化方向。在算法团队完成初步方案设计后，昇腾团队从硬件底层视角评估技术可行性与潜在风险，双方经思维碰撞快速确定技术路线与实施方案。
无问芯穹李秀红：面对用户对大模型“高智能、低成本”的双重压力，无问芯穹针对大规模集群场景展开技术攻坚，并与昇腾展开合作。
重点围绕两方面展开，其一，面对集群规模越来越大，通信成本高昂的问题，我们与昇腾的团队探索出了通信优化的新方法。传统的通信优化方式是把通信和计算重叠起来，优化通信路径，而我们与昇腾探索出的新方法是提出低侵入式计算通信重叠方法，通过动态自适应机制使矩阵乘法计算与 All to All、ReduceScatter 等通信原语自动重叠，无需修改核心算法逻辑。在昇腾芯片上测试显示，该方案使集群通信效率提升 30%，有效降低大规模集群的通信成本。
其二，传统调度方案存在两种局限：共用资源但阶段干扰导致延迟波动，用户体验差；独立资源避免干扰，但硬件占用高、资源浪费。针对这一矛盾，我们创新提出PD半分离调度方案，即Prefill（预填充）和Decode（解码）阶段使用独立计算资源，避免阶段间干扰，保障Decode阶段的低延迟；两部分共享存储资源，减少硬件冗余，降低资源成本，实现了“既要低延迟、又要高吞吐”的用户需求。
趋境科技艾智远：我们与鲲鹏昇腾的合作核心围绕 “解决大模型推理成本高、硬件适配难” 展开，主要聚焦于两大方向：一方面在软硬件协同优化方面，基于鲲鹏昇腾硬件平台，开发适配的软件工具链，通过分层架构设计扩展显存空间，降低对高显存GPU的依赖，使低成本硬件即可支撑大模型运行；另一方面，针对大模型显存需求高、硬件更新快的挑战，探索“计算逻辑打散+硬件弹性扩展”方案，确保现有硬件能适配未来模型演进。
Q2：双方有哪些合作成果？
科大讯飞张海俊：强化学习作为大模型训练的核心场景之一，其效率直接影响模型迭代速度与落地成本。科大讯飞作为最早一批在生态任务中打通端到端流程的团队，从算法验证阶段即介入，确保训练与推理阶段的技术衔接无缝。从立项到客户交付，整体效率较“开箱即用”方案提升近两倍，最终达到业界约80%的先进水平。
MoE（混合专家）模型因参数量大、计算特性复杂，长期面临训练效率瓶颈。我们针对其通信开销大、专家负载不均衡、显存占用高三大痛点，通过“算法-算子-硬件”协同优化，实现训练效率的提升。在痛点诊断与算法协同方面，与算法研究团队深度合作，精准定位训练瓶颈，针对性设计并行策略与负载均衡方案；在算子层，依托昇腾早期布局的底层算子与基础软件支持，降低开发门槛；在显存优化方面，结合昇腾硬件特性与训练经验，通过计算方案重构，将显存占用大幅降低——原需256卡承载的模型，现仅需128卡即可完成训练。最终，开箱性能较初始方案提升近两倍，训练效率达业界90%以上，为MoE模型的规模化训练提供了可复制的“昇腾方案”。
趋境科技艾智远：在鲲鹏昇腾的技术支撑下，纯CPU方案最基础配置即可运行671B模型，生成速度≥16 Token/秒，经与鲲鹏团队优化后，性能有望提升至20 Token/秒以上，完全满足日常使用需求。在解决方案角度，1张XPU+1~2颗CPU的组合即可支撑671B模型，生成速度稳定在16 Token/秒以上，性价比显著高于传统GPU方案，部署门槛降至万元级。
软硬一体的行业落地方案是关键
从实验室场景到产业应用的跨越，不仅需要算法与硬件的协同创新，更需解决行业数据碎片化、场景需求差异化等现实挑战。
Q1：在产业落地方面，鲲鹏昇腾与企业间的合作模式是怎样的？
润和软件朱凯：我们在AI方向和鲲鹏昇腾的合作可以归纳为两点：一是产品层面深度兼容，鲲鹏生态我们已经有8款产品通过鲲鹏兼容性认证，其中包含3项认证产品，昇腾生态累计15款产品获得昇腾兼容认证，其中包括8项认证产品；二是在解决方案场景落地方面，在昇腾社区官方的解决方案库中，润和软件已发布3款联合解决方案，覆盖能源、金融、电力等核心行业领域。
趋境科技艾智远：我们与鲲鹏团队主要获得了“人”与“物”两方面的核心支持，在人力方面，双方组建了“虚拟项目组”，以“产品发布”为共同目标，通过每周例会同步技术方案进展、定位性能瓶颈，并针对性解决优化难题。比如在底层能力支持上，开放数学库、高性能数据库等底层工具库，以及编译器等核心技术支持，助力润和软件开展更深层次的软硬件适配优化；在硬件适配上，针对鲲鹏处理器的硬件特性，提供适配经验与技术指导，帮助团队精准调优产品性能。在硬件资源方面，鲲鹏团队为润和软件提供了充足的硬件资源支持，解决了创业型企业在实验环境搭建中的关键痛点，我们能够基于鲲鹏硬件平台开展产品测试、验证与优化，加速技术落地。
Q2：落地效果如何？
润和软件朱凯：润和软件联合鲲鹏openGauss团队，基于OpenGauss数据库开发了 “四库一体”技术 （关系型数据库+向量检索+全文索引+其他中间件），解决了传统AI解决方案中“多中间件冗余”的痛点，同时基于“四库一体”技术，润和软件推出鲲鹏RAG+openGauss一体机。通过与鲲鹏、昇腾团队的联合测试，一体机在客户实际场景中验证了性能优势：AIRuns平台实现鲲鹏CPU与昇腾NPU的协同调度，保障AI任务的高效执行；“四库一体”技术减少中间件投入，结合一体机软硬一体设计，整体部署成本降低30%以上。
Q3：未来合作方向是什么？
趋境科技艾智远：接下来我们将继续深化与鲲鹏、昇腾的生态协作，重点推进两大方向的合作：一是鲲鹏+昇腾联合解决方案/产品方面，聚焦“算力需求高且成本可控”的场景，结合鲲鹏的CPU性能优势与昇腾的AI算力特性，推出兼顾效率与经济性的联合方案，满足客户对算力成本的双重诉求。二是鲲鹏纯CPU版本产品方面，针对“大型模型但并发度要求不高”的场景，推出基于鲲鹏纯CPU的解决方案，通过适配鲲鹏CPU的底层优化，降低客户使用大模型、高智能化的门槛，助力不同规模客户的业务需求落地，推动算力的普及与应用深化。
聚焦开发者生态，聚合企业生态
除了在底层技术支撑、软硬件协同生态方面发力外，鲲鹏昇腾也更注重开发者生态的构建，希望借助开发者生态聚合企业生态，赋能企业AI转型。
例如，趋境科技推出Ktransformers（中小规模推理）、Mooncake（云上部署）等开源项目，通过软件层优化（如内存替代部分显存）降低大模型推理成本，简化开发者对硬件资源的依赖；润和软件则联合openGauss团队推出“鲲鹏RAG+openGauss四库一体”方案，整合关系型数据库、向量检索等功能，统一接口并降低部署/运维成本。
结语
从科大讯飞的超大集群训练攻坚，到无问芯穹的通信调度创新；从趋境科技的万元级推理突破，到润和软件的行业一体机落地，四家企业的实践共同勾勒出鲲鹏昇腾生态的核心优势：即不仅仅单一硬件的性能比拼，而是 "硬件开放 + 软件开源 + 生态协同" 的系统能力较量。
扫一扫
2562
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
