【昇腾故障案例-模型推理】使用Atlas 200I DK A2进行atc模型转换出现的问题以及解决方法

最新推荐文章于 2025-03-25 19:50:21 发布
原创 最新推荐文章于 2025-03-25 19:50:21 发布 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

当使用atc进行模型转换时遇到速度慢或卡顿，可能是因为内存耗尽。解决方案是创建swap分区来缓解内存压力。步骤包括：检查内存使用情况，分配4G的swap文件，修改文件权限，创建并挂载swap分区，最后确认挂载成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、问题现象

使用atc转换模型的过程中会出现转换过程很慢甚至卡住不动的情况，排查问题后发现是内存跑满了。
在这里插入图片描述

二、解决办法

解决办法就是创建交换分区分担内存压力，方法如下：

1.通过free -h命令查看内存使用情况，如果内存总量小于4G，则需要挂载swap分区
free -h
2.申请一个4G的文件作为swap分区【推荐2.5G以上，请提前预留足够的空间】
sudo fallocate -l 4G /swapfile
3.修改文件权限
sudo chmod 600 /swapfile
4.创建swap分区
sudo mkswap /swapfile
5.挂载swap分区
sudo swapon /swapfile
6.通过 free -h查看swap分区是否挂载成功
free -h

通过这样一波操作之后，我们就看到了期待已久的success啦！

在这里插入图片描述

华为昇腾310 ATC模型转换、CPP推理案例使用
weixin_42357472的博客
05-30 582
运行结果在上一层级out目录下。
使用atc工具进行onnx到om转换踩坑记录
zhuangyuan7838的博客
09-30 4568
在客户端输入得到如下图所示：得到的310B4就是设备名称，在使用时在前面加上Ascend就是–soc_version的值。
【Atlas200】华为适配ATC模型转换工具
种一棵树最好的时间是十年前，其次是现在
05-18 2299
ATC模型转换工具具有高效、快速、准确的特点，可以帮助用户将深度学习模型快速部署到华为AI芯片上，从而实现高效的推理和计算。要解决该问题，需要在运行ATC工具时指定正确的–soc_version参数。其中，“–input_shape ”中的“-1”表示设置动态BatchSize，具体支持哪些BatchSize由“–dynamic_batch_size”决定。其中，“–input_shape ”中的“-1,-1”表示设置动态分辨率，具体支持哪些分辨率由“–dynamic_image_size ”决定。
【2023 · CANN训练营第一季】- 应用开发深入讲解 第一节 学习笔记
weixin_55250043的博客
05-17 187
模型：pytorch框架的ResNet-50开源模型输入数据：RGB格式、224*224分辨率的输入图片。输出数据：图片的类别标签及其对应置信度。归一化：需要进行减均值（[0.485,0.456,0.406]）及乘系数（[0.229,0.224,0.225]）操作。
onnx在华为昇腾AI模型转换过程中的报错The Add_718 op dtype is not same, type1:DT_INT64, type2:DT_INT32
wentinghappyday的博客
10-08 2049
onnx模型在华为昇腾硬件平台转换om中遇到的问题以及解决
Atlas 200I DK A2开发板问题总结
qq_43820692的博客
09-22 1636
总结了Atlas200I DK在开发配置过程中遇到的问题及解决方法。
基于华为昇腾Atlas 200I DK A2开发板，使用NPU对现有的YOLOv5S目标检测模型进行硬件加速，同时使用注意力机制对YOLO的主干网络进行优化（python源码）
12-09
基于华为昇腾Atlas 200I DK A2开发板，使用NPU对现有的YOLOv5S目标检测模型进行硬件加速，同时使用注意力机制对YOLO的主干网络进行优化（python源码） 基于华为昇腾Atlas 200I DK A2开发板，使用NPU对现有的YOLOv5S...
【Atlas 200I DK A2 体验】部署样例 sampleYOLOV7MultiInput
06-29
7. 实验设备和开发方式： 实验设备使用 Atlas 200I DK A2 作为软件部署的 host 侧（用 CPU），作为推理芯片，进行模型推理（用 NPU）。开发方式包括使用 AscendCL 编程接口、开发者套件等。 知识点： 实验设备、 ...
Atlas 200I DK A2 开发者套件23.0.RC2硬件接口使用指南
04-09
### Atlas 200I DK A2 开发者套件23.0.RC2硬件接口使用指南 #### 一、内容概述 本指南旨在帮助开发者熟悉并掌握Atlas 200I DK A2开发者套件23.0.RC2（以下简称“A2套件”）的各种硬件接口及其使用方法。A2套件是一...
Atlas 200I DK A2算子开发环境搭建指导-Ascendc中级认证专用.docx
09-29
#### Atlas 200I DK A2算子开发环境搭建指导 1. **配件检查** - 开发者套件基础配件：包括主板、电源（含电源线及适配器）。 - 需要的SD卡：用于装载开发者套件镜像。 - 连接线：包括网线和USB转RJ45网口转接器...
YOLOv8在华为昇腾开发板Atlas 200I DK A2上部署
最新发布
05-23
特别是随着人工智能技术的快速发展，将YOLOv8部署在华为昇腾开发板Atlas 200I DK A2上，能够充分利用国产AI硬件的优势，推动算法在实际应用中的落地。华为昇腾开发板Atlas 200I DK A2搭载了华为自研的昇腾系列AI...
ATC分类模型转换工具报错： opname[data] is not exist
南沙的星星
03-31 1511
华为ATC分类模型转换工具报错： root@zhou:/media/sf_share/08-model/resnet50# atc --model=ResNet-50-deploy-2.prototxt --weight=resnet50.caffemodel --framework=0 --output=resnet50 --soc_version=Ascend310 --input_format=NCHW --input_fp16_nodes=data -output_type=FP32 --out_n
昇腾Alatas 200I DK A2开发套件AI开发实例
qq_41193219的博客
03-25 895
产品规格：1个DaVinciV300 AI core（主频500MHz），4个TAISHANV200M处理器核（主频1.0GHz），8TOPS的算力。例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
华为Atlas 200 DK开发者套件踩坑记(持续更新)
Hariod的博客
10-10 8482
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
华为Atlas开发环境（ATC环境）搭建
qq_36947168的博客
05-08 2695
此博文主要用于指导在非昇腾AI设备上安装开发环境，用于代码开发及ATC模型转换等功能。
Atlas深度学习模型转换及运行
weixin_42981609的博客
10-01 1899
在使用昇腾硬件（例如Atlas200）进行模型推理的时候，首先需要使用ATC工具将原始模型转换为适合昇腾硬件的模型（.om）TensorFlow、MindSpore、ONNX的模型转换，其中ONNX可以看做是一个中间模型，如果其他模型可以转换为ONNX模型那么也可以在使用ATC进行模型转换，例如pytorch模型转换为ONNX模型，ONNX模型再转换为.om文件。–input_format：输入数据格式：Caffe默认为NCHW，TensorFlow默认为NHWC。
基于昇腾CANN的推理应用开发--语义分割（Python）
qq_40679625的博客
06-05 1156
基于 Python 开发，通过网络模型加载、推理、结果输出的部署全流程展示，快速熟悉并掌握语义分割基本开发流程。
极智AI | 昇腾 CANN ATC 模型转换
极智视界
11-11 1532
大家好，我是极智视界，本文介绍一下 昇腾 CANN ATC 模型转换。
华为系列-[1]-昇腾-atlas 200l dk学习笔记
GeekPlusA的博客
06-19 769
华为系列-[1]-昇腾-atlas 200l dk学习笔记
atlas 200i dk a2部署大语言模型
03-28
### 在 Atlas 200I DK A2 上部署大语言模型的关键要素 #### 硬件与软件支持分析 Atlas 200I DK A2 开发者套件基于 Ascend 310 处理器设计，其硬件资源相对有限。具体来说，该设备配备有 4 GB 的内存以及 CANN（Compute Architecture for Neural Networks）框架版本 7.0[^3]。这些特性决定了它更适合运行轻量级的人工智能应用，例如图像分类、目标检测或简单的自然语言处理任务。 然而，对于大语言模型（LLMs），由于它们通常具有数十亿甚至更多的参数，因此对计算能力和存储的需求极高。这意味着直接在 Atlas 200I DK A2 这样的边缘设备上部署完整的 LLM 是不现实的。不过，可以通过以下方法实现部分功能： --- #### 方法一：量化压缩技术的应用 为了适应 Atlas 200I DK A2 的硬件限制，可以采用模型量化技术来减少模型大小并降低推理所需的算力需求。常见的量化方式包括 INT8 或 FP16 转换，这能够显著减小模型体积而不明显影响精度。通过 CANN 提供的支持工具链完成这一过程后，可进一步优化模型以便于嵌入式平台加载执行[^4]。 ```bash # 使用CANN中的atc命令行工具进行模型转换示例 atc --model=llm_fp32.om \ --framework=5 \ --output=llm_int8 \ --soc_version=Ascend310 \ --insert_op_conf=op_config.json ``` 上述代码片段展示了如何利用 `atc` 工具将浮点型的大规模预训练网络转化为适合 Atlas 平台使用的 OM 文件格式，并指定插入操作配置文件路径以调整性能表现[^1]。 --- #### 方法二：云端协同架构构建 另一种可行方案是建立云边端协作模式，在中心服务器或者高性能集群中保存原始尺寸较大的神经网络权重矩阵；而在本地仅保留少量用于初步筛选候选词的概率分布向量表或者其他形式的知识蒸馏产物作为代理结构负责实时交互响应请求。当遇到复杂查询时，则触发远程调用机制获取更精确的结果反馈给前端展示界面[^2]。 这种分布式策略不仅缓解了单节点负载压力同时也提升了整体系统的鲁棒性和扩展能力。 --- #### 方法三：微调专用子集模型 针对特定应用场景定制化精简版的语言理解模块也是一种有效途径。比如选取某个领域内的高频词汇集合重新训练一个小范围覆盖度但针对性强的新实例出来专门服务于此类业务场景下的问答对话服务等功能需求。 以下是创建自定义数据集的一个简单 Python 实现例子: ```python import os from datasets import load_dataset, DatasetDict def prepare_custom_dataset(input_dir, output_file): dataset = load_dataset('text', data_files={'train': f'{input_dir}/*.txt'}) def process_function(examples): return {"text": examples['text'][:MAX_SEQ_LENGTH]} processed_datasets = dataset.map(process_function, batched=True) custom_ds = DatasetDict({'train':processed_datasets}) custom_ds.save_to_disk(output_file) if __name__ == "__main__": INPUT_DIR = './data/raw_texts' OUTPUT_FILE = 'custom_llm_data.hf' MAX_SEQ_LENGTH = 512 if not os.path.exists(INPUT_DIR): raise FileNotFoundError(f"The input directory {INPUT_DIR} does not exist.") prepare_custom_dataset(INPUT_DIR, OUTPUT_FILE) ``` 此脚本读取来自指定目录下所有文本文件的内容构成一个新的 HuggingFace 数据库对象并通过映射函数限定每条记录的最大长度属性值之后保存成磁盘上的持久化副本供后续步骤使用。 --- ### 总结 综上所述，虽然 Atlas 200I DK A2 不足以独立承载超大规模级别的通用型人工智能算法运算负荷，但是借助先进的工程技巧如前述提到的各种手段仍然可以在一定程度范围内达成预期效果满足实际生产环境中某些特殊条件约束前提下的自动化决策辅助目的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值