- 博客(48)
- 收藏
- 关注
原创 【环境部署系列 07】Ascend 310B(推理)Atlas 500 A2小站环境部署
Atlas 500 A2小站,整体推理算力与上一代持平,CPU强于上一代,由4个TAISHANV200M处理器核组成;视频编解码能力,远优于上一代:支持H.264/H.265 Decoder硬件解码,40路1080P支持H.264/H.265 Encoder硬件编码,20路1080P。
2023-07-28 21:50:40
4333
2
原创 【大模型系列 07】MiniGPT-4 for PyTorch 昇腾迁移
MiniGPT-4使用一个投影层将来自BLIP-2的冻结视觉编码器与冻结的LLM Vicuna对齐。通过两个阶段来训练MiniGPT-4,先是用500万图文对训练,然后再用一个3500对高质量数据集训练。
2023-07-28 19:48:33
546
原创 【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
LLaMA是由Meta AI发布的大语言系列模型,完整的名字是Large Language Model MetaAI。LLaMA按照参数量的大小分为四个型号:LLaMA-7B、LLaMA-13B、LLaMA-30B与LLaMA-65B。LLaMA模型的效果极好,LLaMA-13B在大多数基准测试中的表现都优于GPT-3(175B),且无需使用专门的数据集,只使用公开可用的数据集即可至训练至最优。本工程基于FastChat仓,主要聚焦于LLaMA-7B/13B模型。
2023-07-28 19:45:35
3982
1
原创 【大模型系列 05】GLM-10B for PyTorch 昇腾迁移
GLM是一个用自回归完型填空目标预训练的通用语言模型,可以在各种自然语言理解和生成任务中进行微调。
2023-07-28 19:41:47
705
原创 【大模型系列 04】Chat-GLM-6B for PyTorch 昇腾迁移
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于架构,具有 62 亿参数。本仓支持P-Tuning v2 和全参数fintune。
2023-07-28 19:35:10
1429
原创 【大模型系列 03】Stable Diffusion 2.1 for PyTorch 昇腾迁移
StableDiffusion 是 StabilityAI公司于2022年提出的图片生成的预训练模型,论文和代码均已开源,下游任务包括文生图、图生图、图片压缩等等。
2023-07-28 19:29:54
1541
1
原创 【大模型系列 02】Diffusion For PyTorch 昇腾迁移
扩散模型 (Diffusion Models) 是一种生成模型,可生成各种各样的高分辨率图像。Diffusers 是Huggingface发布的模型套件,包含基于扩散模型的多种下游任务训练与推理,可用于生成图像、音频,甚至分子的 3D 结构。
2023-07-28 19:23:02
1090
1
原创 【昇腾故障案例-模型推理】使用Atlas 200I DK A2进行atc模型转换出现的问题以及解决方法
使用atc转换模型的过程中会出现转换过程很慢甚至卡住不动的情况,排查问题后发现是内存跑满了。
2023-07-28 19:17:09
954
原创 【大模型系列 01】ChatGLM-6B 昇腾迁移
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。
2023-07-13 10:02:54
2190
原创 【昇腾故障案例-模型推理】内存大小不符合DVPP的要求,导致应用程序报错并退出
拖动到“推理”区域,通过API参考进入最新版本的文档(或者可以在左上方选择需要的版本),在媒体数据处理章节,根据DVPP各功能对内存大小的要求,检查代码中对应格式的内存大小是否正确;2. 在代码中增加打印内存长度的日志,检查传入接口的内存大小是否与实际申请的内存大小一致。
2023-06-20 10:01:19
118
原创 【昇腾故障案例-系统工具】执行算力测试时找不到相关so文件
使用Ascend-DMI工具进行算力测试时,找不到相关so文件,回显信息如下所示。执行算力测试的报错界面。
2023-06-20 09:56:01
568
原创 【昇腾故障案例-模型推理】使用错误的DVPP内存申请接口,导致应用程序报错并退出
检查代码,确认在DVPP媒体数据处理的各功能中,是否使用acldvppMalloc接口/ hi_mpi_dvpp_malloc接口申请存放输入或输出数据的Device内存。根据日志提示,是因为没有使用指定的接口申请内存,导致内存地址校验出错。
2023-06-20 09:53:50
236
原创 【昇腾故障案例-模型推理】retCode返回值设置错误,导致视频解码异常
调用aclvdecSendFrame接口发送一帧码流后,继续复用输出图片描述信息,进行后续帧码流的解码操作,结果反复出现解码不成功、解码异常的情况。
2023-06-20 09:51:57
579
原创 【昇腾故障案例-安装部署】Atlas 800-3010 SUSE15 fio压测过程中进行 power cycle 操作,系统启动过程挂死
下载内核patch:kernel-default-4.12.14-150.14.2.x86_64.rpm,升级解决问题。fio性能测试非系统分区,进行 power cycle 时,SLES 15系统启动过程挂死。内核 efi 模块已知问题,4.12.14-150.14.2.x86_64 内核版本已修复。经验总结、预防措施和规范建议。关键过程、根本原因分析。结论、解决方案及效果。
2023-06-19 17:23:30
638
原创 【昇腾故障案例-安装部署】Ascend 310P 容器内算力切分挂起视频流编解码业务进程npu-smi故障
硬件配置:Atlas800-3000设备,Ascend 310P推理卡问题现象:Ascend 310P推理卡在算力切分1/2分容器场景下,运行单进程12路视频解码业务,在容器内运行业务过程中Ctrl+Z挂起业务后,出现npu-smi info出现查询不到芯片的现象。
2023-06-19 17:17:30
1423
原创 【昇腾故障案例-安装部署】Atlas 800 dmesg告警“device-mapper: error adding target to table”
无。
2023-06-19 16:11:25
538
原创 【昇腾故障案例-安装部署】CPU架构为ARM架构时,由于社区未提供ARM架构CPU版本的torch包,无法使用PIP3命令安装PyTorch1.8.1,需要使用源码编译安装
CPU架构为ARM架构时,无法使用PIP3命令安装PyTorch1.8.1。
2023-06-19 16:07:24
336
原创 【昇腾故障案例-安装部署】容器中未挂载device问题
dev/davinciX:NPU设配,X是芯片物理ID号例如davinci0。由于启动容器实例时,未挂载device参数,导致无法正常启动实例。/usr/local/bin/npu-smi:npu-smi工具。/usr/local/Ascend/driver:驱动目录。/dev/davinci_manager:管理设备。/usr/local/dcmi:DCMI目录。${镜像名称}:{tag}:镜像名称与版本号。/dev/devmm_svm:管理设备。/dev/hisi_hdc:管理设备。
2023-06-19 15:23:24
619
1
原创 【昇腾故障案例-安装部署】在CentOS或EulerOS系统中,使用yum命令出现“No module named ‘dnf‘”报错
请删除LD_LIBRARY_PATH环境变量中的Python3.9路径,使用系统的python路径。系统为CentOS或EulerOS,使用yum命令过程中出现以下错误。
2023-06-19 15:15:45
3172
原创 【Atlas 800-3000/3010 02】操作系统自动升级内核导致Atlas300驱动无法正常使用
操作系统自动升级内核导致Atlas300驱动无法正常使用
2023-01-07 11:10:55
361
原创 【SDK案例系列 11】基于 MindX SDK + 文字识别、目标分类、目标检测的多模型推理
Pytorch CRNN YoloV5 Resnet50
2023-01-07 10:48:10
2681
原创 【SDK案例系列 10】基于 Live555 + MindX SDK + Pytorch YoLoV5的视频检测
Pytorch Yolov5
2023-01-07 10:42:54
2278
1
原创 【SDK案例系列 09】基于 MindX SDK + Pytorch DenseNet-121的目标分类
Pytorch DenseNet-121
2023-01-07 10:37:56
295
原创 【SDK案例系列 04】基于 MindX SDK + Pytorch ShuffleNetV2的目标分类
Pytorch ShuffleNetV2
2023-01-06 15:41:47
200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人