TPU-MLIR 总览

最新推荐文章于 2025-04-16 11:52:37 发布
最新推荐文章于 2025-04-16 11:52:37 发布
阅读量970 收藏 22
点赞数 16
文章标签： mlir
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_59551305/article/details/143888564
版权

TPU-MLIR 总览

## 项目简介：

TPU-MLIR 是 AI 芯片的 TPU 编译器工程。该工程提供了一套完整的工具链, 其可以将不同框架下预训练的神经网络, 转化为可以在算能 TPU 上高效运算的文件 bmodel。

TPU-MLIR 是基于 MLIR(Multi-Level Intermediate Representation) 的，对于 MLIR 来说，Dialect 是用于抽象分层的重要概念，是使其基础设施高度灵活、可扩展和可定制的关键机制。通过 Dialect 允许 MLIR 支持多个不同的计算模型和应用领域，每个 Dialect 都可以定义一组特定的操作、类型、属性和优化规则。MLIR官方教程中，将 Dialect 类比为 C++ 中的命名空间，这样的理解会直观很多。

TPU-MLIR 的实现就是通过定义了两种新的 Dialect：

  1. Tensor operation (TOP) dialect，与具体的 TPU 硬件平台无关，用于对深度学习图语义进行编码，具体定义可查看 https://github.com/sophgo/tpu-mlir/blob/master/include/tpu_mlir/Dialect/Top/IR/TopOps.td
  2. TPU kernel dialect，与具体的 TPU 硬件平台有关，用于对 TPU 提供标准的内核计算，具体定义可查看 https://github.com/sophgo/tpu-mlir/blob/master/include/tpu_mlir/Dialect/Tpu/IR/TpuOps.td

在这里插入图片描述

上图为 TPU-MLIR 的主要架构，当前支持 ONNX TFLite Caffe 格式的模型输入，其他的模型如 Pytorch, Tensorflow 可以先转换为 ONNX 格式。

框架ONNX 支持常见用途
PyTorch原生支持，使用 torch.onnx.export() 导出研究、原型开发、跨框架迁移、模型优化
TensorFlow通过第三方工具（tf2onnx）支持生产部署、大规模训练、跨框架迁移、硬件加速
PaddlePaddle通过 paddle.onnx.export() 支持工业部署、中文处理任务、跨框架迁移、硬件加速

权重数据存储在 NumPy npz 文件中。

由于实际片上的 RAM 资源是很小的通常为几百KB，所有在实际部署时需要对层再进行切片处理，如下图所示：

在这里插入图片描述

这部分是和 TPU 硬件平台强相关的，涉及out addr，out size，buffer addr，buffer size，eu align，h idx，h slice，n idx等参数。

通过量化，32bit float —> low-bit int 以对模型进行压缩，能够部署到资源有限的TPU平台，但是不同类型的量化也会带来不同程度的误差。量化主要有以下几种类型：

量化后调整合理的最大和最小值限幅是校准的关键，可以一定程度上减小误差。

为了确保每个转换步骤的正确性，TPU-MLIR支持在转换后进行推理验证。在转换为 TOP dialect 后，可以进行推理，验证模型是否正确转换。同样，转换为 TPU dialect 后也可以进行推理，确保生成的TPU代码正确运行，并与原始模型结果匹配。

在这里插入图片描述

优化方向：

  • 支持更多芯片，当前支持列表可查看该文件
  • 添加更多算子
  • 完善单元测试
  • 增加使用示例分享；
  • 文档完善，如开发和使用说明文档等；

参考资料：

Vedio:

【算能】通过 ​智能深度学习处理器（TPU）​ 同时实现前处理与后处理加速
浩瀚之水的专栏
04-17 43
在算能（Sophgo）的 ​TPU-MLIR 工具链中，通过 ​智能深度学习处理器（TPU）​ 实现 ​端到端的前处理与后处理加速 是优化边缘计算任务的关键技术。
【算能】TPU-MLIR 工具链之model_deploy
浩瀚之水的专栏
04-16 40
model_deploy.py 是算能 TPU-MLIR 工具链中实现模型高效部署的核心组件，通过灵活的量化配置与硬件优化，可在 ​精度损失 ≤1% 的前提下实现 ​3-5 倍加速。开发者需重点关注校准数据质量、混合精度策略及硬件兼容性
论文讲解——TPU-MLIR: A Compiler For TPU Using MLIR
算能开发者社区是一个为开发者提供信息传播、开发交流、技术分享的交流空间。
08-10 930
对经过优化的TOP MLIR进行多次前向推理，获取每个中间Tensor的数据，并计算它们的统计信息，通过KL方法得到初步的阈值，然后使用误差/余弦相似度方式再微调阈值，是的INT8的计算结果和FP32的结果尽量相似。通过深层次的依赖关系来进行更为合理的切割：越深依赖关系越复杂，不限于一个op层，不是在一层conv上做切割，而是计算一个conv输出被下一个conv利用的相关性，做整个group的相关性的切割，用计算来代替搬运。TPU Dialect是用于表示TPU芯片的Kernel库，与具体的设备有关。
【算能】TPU-MLIR 编译器深度解析
浩瀚之水的专栏
04-03 434
TPU-MLIR是算能TPU生态中的核心枢纽工具，通过MLIR中间表示层与硬件感知优化，打通了从算法开发到芯片落地的全流程。其优势在于量化精度控制、跨框架兼容性与指令级性能优化，尤其适合边缘计算与行业定制化场景。开发者需结合模型特性与硬件约束，合理使用编译选项与调试工具，以最大化释放算能TPU的潜力。
算能（Sophgo）之TPU-MLIR编译器介绍
浩瀚之水的专栏
11-08 832
TPU-MLIR是一个专注于AI芯片的TPU编译器开源工程，提供了一套完整的工具链，可以将不同框架下预训练过的深度学习模型，转化为可以在TPU（Tensor Processing Unit）上运行的二进制文件（如bmodel），从而实现更高效的推理。
TPU-MLIR
哦豁灬
12-26 1997
整体逻辑：不断地去循环尝试匹配 patterns，然后 rewrite，当没有任何的 patterns 被匹配成功，或者循环的次数超过最大值的时候，就结束调用。对于越高级的 IR，就越接近源代码，提取源代码意图的难度就越低，但是针对特定硬件优化代码的的难度就越高；AI编译器，把不同框架下的搭建起来的模型，转换为统一形式的中间表达 IR，然后通过 IR 转换成可以在特定芯片平台上运行的二进制模型。在模型转换过程中，会在各个阶段进行模型推理，并对比结果，以确保转换的正确性，量化过程会产生偏差。
TPU-MLIR视频教程更新，手把手教你打造高性能开源AI编译器
算能开发者社区是一个为开发者提供信息传播、开发交流、技术分享的交流空间。
09-29 876
TPU-MLIR视频分享主要基于算能的开源工具链 TPU-MLIR 展开，内容会涵盖 MLIR 基本语法以及编译器中各类优化操作的实现细节，如图优化，int8 量化，算子切分和地址分配等。
利用tpu-mlir工具将深度学习算法模型转成算能科技平台.bmodel模型的方法步骤_BM1684
cumtchw
01-24 2755
上图就是tpu-mlir的整体架构图，主要分两步, 一是通过将原始模型 转换成mlir文件, 二是通过将mlir文件转换成bmodel/cvimodel。如果要转INT8模型, 则需要调用生成校准表, 然后传给。如果INT8模型不满足精度需要, 可以调用生成量化表, 用来决定哪些层采用浮点计算， 然后传给生成混精度模型。
TPU-MLIR算法量化及YOLOv5s模型转换与优化实践
01-03
TPU-MLIR算法是一种将深度学习模型转换为TPU支持格式的工具，其核心在于模型的量化过程。量化可以将模型的权重和激活从浮点数表示转换为低比特位的定点数表示，从而大幅减小模型大小并加速推理速度，这对于提升部署...
onnx量化裁减调优TPU-MLIR使用
01-03
TPU-MLIR是一个专门针对多层感知器（MLIR）的转换工具，它可以将ONNX格式的模型转换为TPU（张量处理单元）支持的格式，优化模型在TPU上的运行效率。YOLOv5s是一种轻量级的目标检测模型，其“s”代表“small”，意味...
基于TPU-MLIR实现UNet模型部署-决赛答辩02
算能开发者社区是一个为开发者提供信息传播、开发交流、技术分享的交流空间。
04-07 917
基于TPU-MLIR实现UNet模型部署-决赛答辩02，队伍：AP0200023
TPU-MLIR的环境搭建和使用
算能开发者社区是一个为开发者提供信息传播、开发交流、技术分享的交流空间。
06-14 3139
而归一化计算支持直接将未进行预处理的图像数据(即unsigned int8格式的数据)做归一化处理。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PDnKL5Ww-1686737642332)(./assets/image-20230609113639428.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aJx7KkDD-1686737642332)(./assets/image-20230609113936749.png)]
利用tpu-mlir将算法模型量化成算能科技平台.bmodel模型的方法介绍
yanglong6666的博客
08-23 1583
针对首次使用mlir工具进行模型转化的用户，本人首次接触算能平台，此文主要作为笔记记录。
bm1684开发流程（2）：tpu-mlir 环境初始化
此人有点怪，时发时不发。
01-09 741
bm1684 x86_64开发实践
AI编译器与TPU-MLIP
Liususiu的秃头日记
11-21 1180
入门AI编译器，了解它与传统编译器的区别，以及常见的AI编译器模式。
Mlir环境配置以及yolov5模型转换
liyun52的博客
03-16 1580
新手小白记录一下使用算能SE5盒子，在x86主机上配置环境的过程。官方文档为：1. TPU-MLIR简介 — TPU-MLIR 1.6.215 文档 (sophgo.com)
【算能】TPU-MLIR 工具链之run_calibration
浩瀚之水的专栏
04-16 37
run_calibration.py 是用于 ​生成量化校准表（Calibration Table）​ 的核心脚本，通过分析模型在校准数据上的激活值分布，确定各层的量化参数（Scale/Zero-Point）。
算能转模型工具Tpu-Mlir的安装教程
qq_54012756的博客
08-15 918
算能的转模型工具tpu-mlir官方readme写的过于简单，经过自身实践写了一份较为详细的给大家参考。
unet模型可视化特征分析
最新发布
04-25
<think>嗯，用户想分析UNet模型的特征可视化方法或工具。首先，我需要回忆一下UNet的结构。UNet通常用于医学图像分割，它有一个对称的编码器-解码器结构，还有跳跃连接。特征可视化的话，可能需要关注不同层级的特征图，比如编码器的下采样部分和解码器的上采样部分。 接下来，用户提到的工具和方法。根据之前提供的引用，比如引用[1]和[2]里提到了PyTorch的torchviz和Netron。Torchviz可以生成计算图，Netron适合查看模型结构。但特征可视化可能还需要其他方法，比如激活图或者梯度类激活图（Grad-CAM）。不过UNet是分割模型，Grad-CAM可能不太直接，可能需要调整。 然后，特征图可视化的话，可以用PyTorch的钩子（hook）来提取中间层的输出。比如在编码器的每个卷积块后注册钩子，保存特征图，然后用matplotlib显示。另外，引用[3]提到TPU-MLIR部署，可能和可视化关系不大，但可能涉及量化后的效果，需要注意模型是否经过修改。 用户可能需要具体的代码示例，比如如何注册钩子，如何可视化多通道特征图。此外，工具方面，除了提到的，可能还有TensorBoard，或者使用CNN解释库如Captum。需要检查这些工具是否适用于UNet的结构。 还要考虑特征可视化的不同层次，浅层可能捕捉边缘纹理，深层可能对应高级特征。对于分割任务，解码器的特征可能更关键，因为它们融合了上下文和位置信息。需要建议用户关注哪些层，比如跳跃连接后的特征或者上采样后的输出。 可能的问题：用户对如何实现钩子不熟悉，或者处理多通道特征图时不知道如何选择通道。需要给出代码示例，比如选择前几个通道或取平均。另外，可能推荐使用现有的可视化工具，如Netron查看结构，再结合自定义代码分析特征。 最后，确保回答结构清晰，分点说明方法和工具，提供代码示例，并引用相关文献。同时生成相关问题，引导用户深入，比如优化可视化方法或处理特定层的问题。</think>### UNet模型特征可视化方法与工具分析 #### 一、核心可视化方法 1. **特征图可视化** - 通过提取UNet编码器（下采样）和解码器（上采样）各层的输出特征图，使用热力图或通道拼接方式展示 - 示例代码： ```python import torch import matplotlib.pyplot as plt # 注册钩子捕获中间特征 features = {} def get_features(name): def hook(model, input, output): features[name] = output.detach() return hook model.encoder1.register_forward_hook(get_features('encoder1')) model.decoder4.register_forward_hook(get_features('decoder4')) # 可视化特征图（取前8个通道） with torch.no_grad(): model(input_tensor) plt.imshow(features['encoder1'][0, :8].permute(1,2,0)) ``` 2. **梯度类激活图(Grad-CAM)[^1]** - 通过反向传播获取特征重要性权重，适用于定位关键区域： ```python from torchcam.methods import GradCAM cam_extractor = GradCAM(model, target_layer="decoder4.conv") with torch.no_grad(): out = model(input_tensor) cams = cam_extractor(out.squeeze(0).argmax().item(), out) ``` #### 二、专用可视化工具 1. **Netron模型结构解析[^2]** - 支持查看UNet各层连接关系与参数配置 ```python torch.save(model, 'unet.pth') # 生成可视化文件 ``` 2. **TensorBoard特征投影** - 嵌入高维特征可视化： ```python from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter() writer.add_embedding(features['bottleneck'], tag='UNet latent space') ``` 3. **自定义特征分析工具** - 针对医学图像特点设计通道注意力可视化： ```python def channel_attention_visual(feature_maps): avg_pool = torch.mean(feature_maps, dim=(2,3)) return plt.bar(range(len(avg_pool)), avg_pool.numpy()) ``` #### 三、实践建议 1. **重点关注层级**： - 编码器末层（包含高级语义） - 解码器跳跃连接融合点 - 最终分割头前的特征空间 2. **量化部署注意事项[^3]**： - 当使用TPU-MLIR等工具量化时，需对比原始模型与量化模型的特征分布差异 - 通过余弦相似度验证特征保真度： $$ \text{similarity} = \frac{\mathbf{F_{orig}} \cdot \mathbf{F_{quant}}}{||\mathbf{F_{orig}}|| \cdot ||\mathbf{F_{quant}}||} $$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值