hipBLASLt 0.7.0发布：ROCm 6.1.5中的高性能矩阵计算新特性

hipBLASLt 0.7.0发布：ROCm 6.1.5中的高性能矩阵计算新特性

hipBLASLt hipBLASLt is a library that provides general matrix-matrix operations with a flexible API and extends functionalities beyond a traditional BLAS library 项目地址: https://gitcode.com/gh_mirrors/hi/hipBLASLt

hipBLASLt是AMD ROCm生态系统中专注于高性能矩阵计算的核心库，作为hipBLAS的轻量级扩展，它针对现代GPU架构进行了深度优化。该库特别适合需要低延迟和高吞吐量的矩阵运算场景，如深度学习训练和推理、科学计算等。最新发布的hipBLASLt 0.7.0版本作为ROCm 6.1.5的一部分，带来了多项重要功能增强和扩展API支持。

新增扩展API功能

本次更新引入了三个重要的扩展API，进一步丰富了hipBLASLt的功能集：

1. hipblasltExtSoftmax扩展API：提供了高效的softmax操作实现，特别优化了在GPU上的计算性能。这个API对于深度学习中的注意力机制等场景尤为重要，能够显著提升transformer类模型的训练和推理效率。

2. hipblasltExtLayerNorm扩展API：实现了层归一化操作，这是现代神经网络架构中的关键组件。该API针对GPU计算特点进行了优化，相比通用实现能够获得更好的性能表现。

3. hipblasltExtAMax扩展API：提供了计算数组中绝对值最大元素的功能，这在数值计算和机器学习中都有广泛应用，如特征缩放、梯度裁剪等场景。

混合精度计算支持

0.7.0版本的一个重要增强是增加了对混合精度数据类型的支持，特别是：

• 支持fp16/fp8输入与fp16输出的混合计算模式
• 这种混合精度支持使得用户能够在保持足够计算精度的同时，充分利用低精度计算带来的性能优势
• 对于内存带宽受限的应用场景，这种支持可以显著提升计算吞吐量

Gemm调优功能增强

新版本引入了GemmTuning扩展参数，允许用户显式设置split-k参数：

• 用户可以根据具体问题和硬件特性，手动调整矩阵乘法的分块策略
• 这种细粒度控制使得专家用户能够针对特定工作负载进行深度优化
• 对于非常规矩阵尺寸或特殊计算模式的应用场景特别有用

未来变更预告

值得注意的是，algoGetHeuristic()扩展API用于GroupGemm的功能将在未来版本中被弃用。开发者应该开始规划迁移到替代方案，以避免后续兼容性问题。

技术影响与建议

这次更新使得hipBLASLt在高性能计算和深度学习领域的适用性进一步增强。特别是新增的扩展API为构建复杂的计算图提供了更灵活的基础：

• 深度学习框架开发者可以更高效地实现现代神经网络组件
• 科学计算应用可以利用新的扩展API优化计算流程
• 混合精度支持为追求极致性能的应用提供了新的优化空间

建议用户在升级到新版本时：

1. 评估新增API是否能够优化现有计算流程
2. 对于使用GroupGemm的应用，开始规划替代algoGetHeuristic()的方案
3. 在适当场景尝试混合精度计算以获得性能提升

hipBLASLt 0.7.0的这些改进，配合ROCm 6.1.5的整体增强，为AMD GPU上的高性能计算提供了更加强大和灵活的工具集。

hipBLASLt hipBLASLt is a library that provides general matrix-matrix operations with a flexible API and extends functionalities beyond a traditional BLAS library 项目地址: https://gitcode.com/gh_mirrors/hi/hipBLASLt