- 博客(12)
- 收藏
- 关注
RSS订阅原创 ops-cv Resize双线性插值 像素级插值硬件指令映射
本文深入剖析了CANN项目中ops-cv模块的双线性插值优化技术，通过硬件指令映射实现12倍性能提升。重点解析了bilinear.cpp中的向量化实现方法，包括SIMD架构利用、内存访问优化和精度保持策略。文章提供完整代码示例和性能对比数据，展示了在4K图像处理场景下从42.3ms优化到3.5ms的实践成果。同时给出了企业级部署案例和故障排查指南，为高性能图像处理提供了从原理到实践的完整解决方案。
2026-02-07 07:00:34
616
原创 ops-transformer Attention融合技术解析 QKV拼接加Softmax加MatMul三算子融合实战
本文深入解析了CANN项目中Transformer模型的Attention算子融合技术，通过将QKV拼接、Softmax和MatMul三个算子融合为一个超级算子，显著提升了推理性能。在Qwen-7B模型上实测显示，该技术使推理延迟降低35%，KernelLaunch次数从15次降至3次。文章详细剖析了源码实现原理、性能优化策略，并提供了实战应用指南，包括环境配置、模型集成和性能测试方法。同时分享了企业级应用案例，展示该技术在实际业务中如何实现79%的延迟降低和180QPS的吞吐量提升。最后还给出了常见问题解
2026-02-07 06:55:53
906
原创 分布式图构建中AllReduce节点插入策略与LLaMA训练实战
摘要：本文深入解析CANN图引擎GE的AllReduce节点插入策略，通过剖析dist_graph_builder.cpp源码，揭示分布式训练中通信-计算重叠的优化原理。结合LLaMA大模型训练实战，展示了智能插入AllReduce节点如何实现高达19%的训练加速。文章提供完整代码示例、性能调优技巧和故障排查方案，重点阐述了梯度节点识别算法、插入位置优化和通信分组策略三大关键技术。实测数据显示，该策略在LLaMA训练中显著降低29%通信耗时，为大规模分布式训练提供有效解决方案。
2026-02-06 21:18:01
600
原创 GE图执行引擎核心剖析 LaunchKernel调用链与多Stream并发调度实战
摘要：本文深入解析深度学习框架中图执行引擎(GE)的关键实现，聚焦graph_executor.cpp中的LaunchKernel调用链和多Stream并发调度机制。通过代码剖析揭示GE采用生产者-消费者与事件驱动混合架构的设计哲学，展示其多Stream分层池化设计如何减少30%管理开销。文章提供完整的性能优化方案，包括Stream数量调优、任务粒度分析和内存竞争解决方案，并以电商推荐系统案例佐证优化后49.6%-65.1%的QPS提升。最后展望自适应调度、跨设备流水线等未来发展方向，强调深入理解底层机制对
2026-02-06 21:13:59
718
原创 Ascend C算子开发Debug技巧深度解析与实战指南
本文系统介绍了昇腾AI处理器开发中的高效调试方法论。基于CANN调试工具链，提出CPU/NPU孪生调试架构，通过正交组合算法自动生成测试用例，实现算子开发效率3-5倍的提升。文章详细解析了两段式调试体系设计原理，提供完整的Add算子调试示例和五步调试法，并总结了内存对齐错误等十大常见问题解决方案。通过企业级矩阵乘法案例，展示了性能优化从32%到85%的提升过程。最后展望了AI驱动调试、云原生平台等未来发展方向，为开发者提供从工具使用到性能优化的全流程实战指南。
2025-12-16 23:55:23
874
原创 Ascend C算子融合技术：以InternVL3中的自定义融合为例
本文基于昇腾CANN开发经验，深入解析算子融合技术在千亿参数多模态模型InternVL3中的应用。通过FlashAttention融合、FFN层融合等关键技术，结合AscendC实现和Atlas300I/VPro实测数据，展示了算子融合如何实现3-5倍训练加速。文章系统阐述了从融合模式识别、计算图重构到内存访问优化的全流程技术方案，并提供了自动化融合框架设计思路。实测数据显示，融合后内存占用减少52%，整体Transformer层加速2.63倍，为大规模模型训练提供了实用的性能优化指导。
2025-12-16 16:14:40
993
原创 构建基于 Ascend C 的自定义算子：以融合算子为例的端到端案例
本文系统解析基于AscendC开发AI芯片融合算子的技术方案。以LayerNorm+GEMM融合算子为例，详细阐述从算子原型设计、AscendC内核实现到PyTorch集成的全流程，包含5个架构图与实测性能数据。关键点：1）融合算子可提升32%性能，减少16MB显存占用；2）通过Tiling策略优化实现89%带宽利用率；3）企业案例显示推理延迟从52ms降至18ms。文章还分享了调试技巧、常见问题解决方案及昇腾生态发展趋势，为开发者提供可落地的异构计算优化指南。
2025-12-14 21:23:44
819
原创 MlaProlog算子全景透视-结构流程与依赖关系深度分析
本文深入探讨了昇腾AI处理器上MlaProlog算子的技术实现与优化策略。通过分析AscendNPU达芬奇架构特性，揭示了融合算子相比传统实现3-5倍的性能提升关键：三级流水线架构、双缓冲机制和计算单元协同。文章详细展示了从Python DSL描述到AscendC代码生成的完整流程，并提供了实战案例和性能调优技巧。特别指出下一代算子开发将向声明式编程、AI自动优化和跨平台统一抽象演进。最后介绍了昇腾训练营的认证体系，为开发者提供系统学习路径。本文为AI算子开发从手工优化到智能生成的范式转变提供了重要参考。
2025-12-14 21:07:52
857
原创 面向未来：Ascend C 算子开发的性能分析与持续优化方法论
本文系统阐述了AscendC算子工程的创建流程与架构设计，涵盖从原型定义到编译部署的全链路开发。重点分析了标准算子工程的分层架构（Host/Kernel分离）与异构编译原理，通过Matmul等案例详细解析工程模板选择、目录结构设计及构建系统实现。文章还分享了企业级开发经验，包括多算子协同管理、依赖控制与CI/CD实践，并针对常见问题提供解决方案。特别强调工程化能力对生产级算子开发的关键作用，指出清晰的架构设计、可靠的构建系统和便捷的部署流程是工业级算子开发的三大支柱。最后展望了AI辅助模板生成等智能化发展方
2025-12-08 23:56:15
641
原创 深度解析CANN架构 - 从AI Core硬核到Ascend C的异构编程革命
预防优于调试// 防御性编程示例return;} \return;} \} while(0)#else#define ASSERT_VALID_TENSOR(tensor, length) // Release模式为空#endif代码清单8-1：防御性编程检查宏工具链熟练度掌握msprof高级过滤技巧，聚焦关键路径学习GDB条件断点和观察点快速定位变量异常使用自定义DumpTensor减少调试迭代次数团队知识共享建立常见问题模式库制定调试检查清单（Checklist）
2025-12-08 23:54:09
1178
原创 算子工程的基石 - Ascend C算子分析理论与方法实战
本文系统阐述了AscendC算子分析的理论框架与实践方法，提出了基于计算特征、数据特征和内存访问模式的三维分析模型。通过性能三角模型量化计算密度、内存带宽和并行度，结合昇腾硬件架构特性，为算子性能优化提供科学依据。文章详细解析了Matmul等典型算子的分析流程，展示了如何通过计算模式识别、数据重用分析和内存瓶颈诊断实现性能提升。针对动态Shape和融合算子等复杂场景，提出了自适应分析方法。最后，作者分享了集成化分析工具链和实战检查清单，强调分析-实现-验证的闭环优化机制是提升算子性能的关键。本文为Ascen
2025-12-07 23:46:21
794
原创 Ascend C 实战：从 Hello World 到复杂算子的深度开发指南
本文系统介绍AscendC编程全流程，涵盖环境搭建到算子开发的完整技术路径。通过向量加法、矩阵乘法和深度可分离卷积三大实战案例，详细展示如何利用达芬奇架构特性实现3-8倍性能提升。文章提供5个可运行示例，包含分步实现指南、性能优化技巧和故障排查方案，帮助开发者充分发挥昇腾AI处理器潜力。关键优化点包括硬件亲和性设计、显式内存控制、流水线并行和多核协同等，实测显示优化后AICore利用率可达85%以上。
2025-12-07 22:10:27
902
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人