基于华为昇腾910B,实战InternVL2-8B模型推理

MindSpore 设置昇腾Ascend 910显存的默认大小,单卡可执行多任务处理 MindSpore配置NPU卡默认占用30GB的显存大小,可使用NPU卡进行多任务的运行。 阅读详情

基于华为昇腾910B,实战InternVL2-8B模型推理

本文将带领大家基于启智平台,使用 LMDeploy 推理框架在华为昇腾 910B 上实现 InternVL2-8B 模型的推理。

https://github.com/OpenGVLab/InternVL

https://github.com/InternLM/lmdeploy

1.登录启智平台

https://openi.pcl.ac.cn/

在这里插入图片描述

2.创建云脑任务

我们新建云脑任务

在这里插入图片描述

目前启智平台提供 4 种 AI 训练任务(调试任务、训练任务、在线推理、通用任务),这里我们选择调试任务。

所属项目,我们选择一个已经有的项目,没有项目,可以新建,这个就不详细展开。(可以点击右上角)

在这里插入图片描述

在这里插入图片描述

接下就是选择算力平台,启智平台目前提供好几个厂商的算力平台。(英伟达、昇腾NPU、遂源GCU、寒武纪MLU、海光DCU、天数智芯GPGPU、沐曦GPGPU),这里我们选华为昇腾NPU。

资源规格栏, 我们选择 D910B 的显卡。(显存 64GB 、CPU24 、内存 192GB)

在这里插入图片描述

镜像栏会随着我们选择的显卡会出现相应的模型镜像,这里我们选择 openmind_cann8。

在这里插入图片描述

在这里插入图片描述

点击新建任务等待服务器创建新任务,创建完成系统会进入服务器资源分配等待列表中。

在这里插入图片描述

当分配资源完成后,状态变成运行状态,这个时候右边操作会出现调试按钮。
在这里插入图片描述

昇腾910B国产化大模型适配指南 华为910B国产化大模型训练环境安装指南,支持Huggingface模型以及DDP分布式训练框架。 阅读详情

相关推荐

华为昇腾910B上快速部署InternVL3-8B:vLLM-Ascend实战避坑指南

本文详细介绍了在华为昇腾910B平台上快速部署InternVL3-8B大模型的全流程指南,涵盖环境准备、依赖安装、模型获取、服务部署与优化等关键步骤。通过vLLM-Ascend实战避坑指南,帮助开发者高效完成模型部署,提升AI应用性能。

weixin_29095049的博客 487

文心4.5开源解析:异构MoE与时间戳渲染的多模态工程实践

多模态大模型正从‘能跑通’迈向‘可量产’的关键阶段。其核心挑战在于如何协调图文异构表征、建模时序动态性,并在国产硬件上实现高效训练与低延迟部署。异构MoE架构通过模态隔离路由解决视觉与语言token熵差导致的梯度失衡问题;时间戳渲染(Temporal Grounding)则突破传统抽帧局限,显式建模视频中的运动连续性与语义时序。结合飞桨PaddlePaddle框架的ERNIEKit微调引擎与FastDeploy跨芯片部署能力,开发者得以在昇腾、海光、NPU等国产平台快速落地端到端多模态应用。本文聚焦文心4.

weixin_30691871的博客 375

卷卷卷!新的开源多模态大模型王者来啦,从量化到部署用 lmdeploy 把它运行起来吧

上海人工智能实验室最近发布了一系列的开源模型,这次我就介绍下怎么使用 lmdeploy 去部署 InternVL2 8B 多模态模型。之所以使用 8B 的这个模型(而不是其他的尺寸的模型)有两个原因,第一、8B 的模型使用了最新的 internlm 2.5 7B,第二、8B 的规模刚好可以在一个 24G 显存的消费显卡里运行起来。下一个尺寸的模型就是 26B 的了,已经不太好在消费显卡上运行了。

arkohut的博客 2079

【深度学习】InternVL2-8B,图转文,docker部署

执行这个代码可以开启一个fastapi接口,7860端口会被docker映射到7895.InternVL2-26B应该更好,但显存没那么大,只能跑InternVL2-8B了。

q742971636的博客 1671

【信息科学与工程学】【数据中心】第四十五篇 Volcano + HAMi + K8s + GPU 的运营调度01

plugins并发:predicates(资源/亲和)、gang(minMember)、drf/proportion(队列公平)、priority(优先级)、deviceshare(vgpu binpack/spread)、nodeorder(拓扑/NUMA/NVLink)、binpack(碎片最小化);不对,3g.40gb占用40GB,两个就是80GB,再加1g.10gb超出。动态将2g.20gb拆成2个1g.10gb,3g.40gb拆成3个1g.10gb+1个3g.20gb(备用),满足全部需求。

weixin_49199313的博客 41

华为服务器RAID配置避坑指南:如何通过iBMC快速识别阵列卡型号并完成初始化

本文详细解析华为服务器RAID配置全流程,重点介绍通过iBMC快速识别阵列卡型号、硬盘健康诊断及RAID级别选择的场景化策略。提供从iBMC登录到缓存策略调优的实战技巧,帮助工程师避免常见配置陷阱,提升服务器存储系统性能和稳定性。

weixin_28475533的博客 492

MaaS 商业模式全面分析报告:从技术赋能到商业变现的全链条探索

MaaS(模型即服务)商业模式正成为AI产业主流,2024年上半年中国市场规模达2.5亿元,预计2027年占比将提升至47%。该模式通过云服务提供预训练AI模型,大幅降低企业应用AI的技术门槛和成本。核心盈利方式包括按使用量计费、订阅制、定制化服务等,其中混合模式因灵活性成为趋势。MaaS产业链包含模型提供商、云平台、应用开发商和最终用户,重塑了AI产业格局。随着《数据法案》等监管加强,数据增值服务面临更严格合规要求。未来五年,中国MaaS市场增速预计超50%,用户规模将从2025年2.1亿增至2030年5

芯片行业20年 · 参与定义实现千万级量产出货 · AI芯片PM 2894

5G边缘计算:核心网下沉革命

5G核心网与边缘计算的深度融合,通过UPF下沉、本地流量卸载等关键技术,实现了低时延、高效能的分布式计算架构。该技术将数据处理从核心网向边缘节点转移,支持工业控制、车联网、远程医疗等场景的1-10ms超低时延需求。5G核心网的SBA架构和CUPS设计为边缘计算提供了灵活部署基础,SMF、PCF等网元协同确保业务质量与可靠性。

Qinti_mm的博客 1403

ArcGIS | 全球新冠肺炎地图数据下载和处理

ArcGIS

thinkpang的博客 2901

银河麒麟鲲鹏aarch64架构安装docker和K8s

鲲鹏云服务器上安装docker-云社区-华为云 (huaweicloud.com) 这里我下载的版本是docker-18.09.3.tag docker 安装包地址:https://download.docker.com/linux/static/stable 配置system服务 在github对应分支的contrib/init/systemd/ 下面,提供了对应的docker.service以及docker.socket文件,可以直接拷贝到本地文件使用: 对应链接:https://github.c

qq_50007696的博客 9058

Python控制程控电源(USB)

随着智能电动汽车行业的持续发展,汽车电子或嵌入式设备在软硬件的测试中,都会使用程控电源供电,特别是自动化测试、压力测试场景必定使用到程控电源控制,控制电源上下电,监听电源电流、电压等,以下就以常见的艾德克斯程控电源为例,分享如何通过USB连接方式Python语言来控制程控电源。

测试领域技术分享 2870

LangChain与LangGraph核心区别解析

LangChain与LangGraph是当前大语言模型(LLM)应用开发中两个紧密相关且极具影响力的开源框架。它们源于LangChain AI公司,设计哲学互补,旨在解决不同维度的LLM工程化问题,共同构成了构建复杂智能应用的强大工具集。

weixin_35774598的博客 1935

【即插即用模块】注意力篇 | ECCV 2024 | DPB:高低频动态分离+双提示融合,PSNR直冲40+!

本文提出了一种基于频率提示的图像恢复方法FPro,通过动态滤波器分离输入特征的高低频分量,并采用双提示块(DPB)进行频域专属提示生成与调制。DPB包含低频提示调制器(LPM)和高频提示调制器(HPM),分别处理不同频段信号,通过生成提示组件并融合解码器特征来优化恢复效果。实验表明,该方法在U型结构中表现优异,尤其适用于分割、底层视觉和多模态任务。模块通过动态无监督频率分离、频域专属提示生成和适配性融合机制,有效解决了传统方法对频域信息关注不足的问题,显著提升了图像恢复质量。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 149

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 使用InternVL、LMDeploy和GTE搭建多模态RAG系统
下一篇: 基于AX650N/AX630C部署多模态大模型InternVL2-1B
OpenGVLab
博客等级 码龄2年 418粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值