自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 收藏
  • 关注

原创 Redis(NOSQL非关系型数据库)(带例子)

Redis01概述1.概念redis是一款高性能的NOSQL系列的非关系型数据库2.什么是NOSQL【1】NoSQL(NoSQL = Not Only SQL),意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库【2】随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了

2020-07-24 09:50:48 1963

原创 Ajax&Json(最详细清晰简单)

Ajax&Json01AJAX1.概念【1】概念:ASynchronous JavaScript And XML 异步的JavaScript 和 XML【2】异步和同步:客户端和服务器端相互通信的基础上(1)同步:客户端必须等待服务器端的响应。在等待的期间客户端不能做其他操作(2)异步:客户端不需要等待服务器端的响应。在服务器处理请求的过程中,客户端可以进行其他的操作【3】Ajax 是一种在无需重新加载整个网页的情况下,能够更新部分网页的技术【4】通过在后台与服务器进行少量数据交换

2020-07-23 11:50:30 2388

原创 Jquery(终极完整版)

Jquery01Jquery概念【1】概念: 一个JavaScript框架。简化JS开发【2】jQuery是一个快速、简洁的JavaScript框架,是继Prototype之后又一个优秀的JavaScript代码库(或JavaScript框架)。jQuery设计的宗旨 是“write Less,Do More”,即倡导写更少的代码,做更多的事情。它封装JavaScript常用的功能代码,提供一种简便的JavaScript设计模式,优 化HTML文档操作、事件处理、动画设计和Ajax交互【3】Java

2020-07-22 16:06:44 2667

原创 开发模式 MVC&三层架构

开发模式01jsp演变历史【1】早期只有servlet,只能使用response输出标签数据,非常麻烦【2】后来有jsp,简化了Servlet的开发,如果过度使用jsp,在jsp中即写大量的java代码,有写html表,造成难于维护,难于分工协作【3】再后来,java的web开发,借鉴mvc开发模式,使得程序的设计更加合理性02MVC【1】M:Model,模型。JavaBean完成具体的业务操作,如:查询数据库,封装对象【2】V:View,视图。JSP展示数据【3】C:Controll

2020-07-16 16:55:52 306

原创 JSP/EL/JSTL(了解向)

JSP概念:* Java Server Pages: java服务器端页面* 可以理解为:一个特殊的页面,其中既可以指定定义html标签,又可以定义java代码* 用于简化书写!!!原理* JSP本质上就是一个ServletJSP的脚本:JSP定义Java代码的方式1. <% 代码 %>:定义的java代码,在service方法中。service方法中可以定义什么,该脚本中就可以定义什么2. <%! 代码 %>:定义的java代码,在jsp转换后的j

2020-07-16 16:38:33 218

原创 会话技术Cookies&Session

Cookies&Session01会话技术【1】会话:一次会话中包含多次请求和响应一次会话:浏览器第一次给服务器资源发送请求,会话建立,直到有一方断开为止【2】功能:在一次会话的范围内的多次请求间,共享数据【3】方式:(1)客户端会话技术:Cookie(2)服务器端会话技术:Session02Cookie1.概念概念:客户端会话技术,将数据保存到客户端2.快速入门使用步骤://1. 创建Cookie对象,绑定数据new Cookie(String name, String

2020-07-16 14:50:04 167

原创 HTTP&Servlet Request/Response

HTTP01概述【1】概念:Hyper Text Transfer Protocol 超文本传输协议【2】传输协议:定义了,客户端和服务器端通信时,发送数据的格式【3】特点:(1)基于TCP/IP的高级协议(2)默认端口号:80(3)基于请求/响应模型的:一次请求对应一次响应(4)无状态的:每次请求之间相互独立,不能交互数据【4】历史版本:(1)1.0:每一次请求响应都会建立新的连接(2)1.1:复用连接02请求消息数据格式1.请求行请求方式 请求url 请求协议/版本GET

2020-07-15 15:54:19 165 1

原创 Servlet&Filter&Listener(javaWeb核心 三大组件)

Servlet01概述1.概念:运行在服务器端的小程序Servlet就是一个接口,定义了Java类被浏览器访问到(tomcat识别)的规则将来我们自定义一个类,实现Servlet接口,复写方法02快速入门【1】创建JavaEE项目【2】定义一个类,实现Servlet接口public class ServletDemo1 implements Servlet【3】实现接口中的抽象方法【4】配置Servlet在web.xml中配置:<!--配置Servlet -->&

2020-07-13 17:18:52 353

原创 Web服务器软件:Tomcat

Tomcat01web相关概念(回顾)1.软件架构【1】C/S:客户端/服务器端【2】B/S:浏览器/服务器端2.资源分类【1】静态资源:所有用户访问后,得到的结果都是一样的,称为静态资源.静态资源可以直接被浏览器解析如: html,css,JavaScript【2】动态资源:每个用户访问相同资源后,得到的结果可能不一样。称为动态资源。动态资源被访问后,需要先转换为静态资源,在返回给浏览器如:servlet/jsp,php,asp…3.网络通信三要素【1】IP:电子设备(计算机)在网

2020-07-13 15:40:10 332

原创 XML(完整版)

XML01概述1.概念【1】概念:Extensible Markup Language 可扩展标记语言【2】可扩展:标签都是自定义的。 < user > < student >2.功能存储数据:【1】配置文件【2】在网络中传输3.xml与html的区别和properties竞争【1】xml标签都是自定义的,html标签是预定义。【2】xml的语法严格,html语法松散【3】xml是存储数据的,html是展示数据4.w3c:万维网联盟发布了200多项影响

2020-07-10 16:23:24 2603

原创 Bootstrap(三大件的开发框架)

Bootstrap01概念【1】一个前端开发的框架,Bootstrap,来自 Twitter,是目前很受欢迎的前端框架。Bootstrap 是基于 HTML、CSS、JavaScript 的,它简洁灵活,使得 Web 开发更加快捷【2】一个半成品软件,开发人员可以在框架基础上,在进行开发,简化编码【3】好处:(1)定义了很多的css样式和js插件。我们开发人员直接可以使用这些样式和插件得到丰富的页面效果(2)响应式布局:同一套页面可以兼容不同分辨率的设备02快速入门【1】下载Bootstra

2020-07-09 17:46:48 489

原创 JavaScript(静态网页资源三大件3)

JavaScript01简介1.概念:一门客户端脚本语言【1】运行在客户端浏览器中的。每一个浏览器都有JavaScript的解析引擎【2】脚本语言:不需要编译,直接就可以被浏览器解析执行了2.功能可以来增强用户和html页面的交互过程,可以来控制html元素,让页面有一些动态的效果,增强用户的体验3.JavaScript发展史【1】1992年,Nombase公司,开发出第一门客户端脚本语言,专门用于表单的校验。命名为 : C-- ,后来(1996)更名为:ScriptEase【2】1995

2020-07-09 15:55:08 939

原创 CSS(静态网页资源三大件2)

CSS01CSS概述1.概念【1】Cascading Style Sheets 层叠样式表【2】层叠:多个样式可以作用在同一个html的元素上,同时生效【3】样式:设置的格式2.好处:【1】功能强大【2】将内容展示和样式控制分离(1)降低耦合度。解耦(2)让分工协作更容易(3)提高开发效率02CSS的使用:CSS与html结合方式1.内联样式【1】在标签内使用style属性指定css代码【2】如:<div style="color:red;">hello css&

2020-07-08 11:43:53 286

原创 HTML(静态网页资源三大件1)

HTML01Web概念概述1.定义JavaWeb:使用Java语言开发基于互联网的项目2.软件架构【1】 C/S: Client/Server 客户端/服务器端在用户本地有一个客户端程序,在远程有一个服务器端程序如:QQ,迅雷…优点:用户体验好缺点:开发、安装,部署,维护 麻烦【2】 B/S: Browser/Server 浏览器/服务器端只需要一个浏览器,用户通过不同的网址(URL),客户访问不同的服务器端程序优点:开发、安装,部署,维护 简单缺点:(1)如果应用过大

2020-07-07 17:23:28 1655

原创 JDBC&C3P0&Druid&Spring JDBC整合

JDBC

2020-07-07 10:26:10 172

原创 编程学习书籍推荐

书籍推荐01C1.C Primer Plus(入门)2.C和指针3.C陷阱缺陷4.C专家编程02C++1.C++ Primer2.C++ Primer Plus(入门)03Java1.Java编程思想2.Java核心技术04Python1.python核心编程2.python编程:从入门到实践05Go1.Go语言实战06数据结构与算法1.算法导论2.算法07计算机网络1.TCP/IP详解2.计算机网络 自顶向下08操作系统1.linux私房菜2.unix环境

2020-07-06 09:24:38 244

原创 MySQL(基础版,待完整)

数据库01 概述1.数据库基本概念【1】数据库(database 简称:DB)【2】定义:用于存储和管理数据的仓库【3】特点:(1)持久化存储数据,其实数据库就是一个文件系统(2)方便存储和管理数据(3)使用了同一的方式来操作数据 – SQL2.常见数据库软件Oracle:收费的大型数据库,Oracle公司的产品MySQL:开源免费的数据库,小型的数据库,已经被Oracle收购了。MySQL6.x版本也开始收费。后来Sun 公司收购了 MySQL,而 Sun 公司又被 Oracle

2020-07-03 17:22:20 458

转载 java编程基础(进阶级)(待完整)

java编程基础(进阶级)01Object类1.概述【1】java.lang.Object 是根类,是所有类的父类【2】如果一个类没有指定特别的父类,则默认继承Object类2.toString方法【1】源码:返回该对象的字符串表示【2】直接打印对象的名字,就是调用对象的toString方法【3】重写//在Person类中@overridepublic String toString() { return "Person{name = "+name+" ,age = "+age+"

2020-07-01 16:30:02 711 2

原创 计算机网络(基础版待拓展)

计算机网络(待拓展)01网络编程入门1.软件结构【1】C/S结构 Client/Server 客户端/服务器【2】B/S结构 Browser/Server 浏览器/服务器2.网络通信协议【1】网络通信协议:通信协议是对计算机必须遵守的规则,通信双方必须同时遵守,最终完成数据交换。【2】TCP/IP协议:传输控制协议/因特网互联协议( Transmission Control Protocol/Internet Protocol),是 Internet最基本、最广泛的协议。4层的分层模型。

2020-06-29 18:01:07 440

转载 java编程基础(入门级)(超级完整版)

java基础编程01基础知识1.计算机基础【1】进制A.十进制转化二进制除以2,求余数,商继续除以2,一直到0为止,从底下往上得到结果。B.二进制转化十进制1 | 1 | 0 | 023∣22∣21∣202^3 | 2^2 | 2^1 | 2^023∣22∣21∣208+4+0+0=128+4+0+0=128+4+0+0=12【2】 计算机的储存方式位(bit):0或1字节(byte):8位1字节,数据储存的最小单位1 KB=1024 Byte1 MB=1024 KB1 GB=

2020-06-16 15:34:57 59036 8

原创 开发工具IDEA(基础版,待拓展)

开发工具IDEA(基础版,待拓展)IDE:集成开发环境01为什么要使用java程序开发的步骤:【1】编写代码【2】启动cmd【3】使用javac编译【4】使用java运行集成开发环境,提高java开发的效率EclipseI, DEA02 项目结构项目(project)->模块(module)->包(package)项目->模块&external libraries(jdk)->src & 01.iml->包03 包名称:a.b.c

2020-06-10 11:09:08 181

转载 Maven学习笔记

Maven 学习笔记01 项目的架构浏览器 -> 视图层 + 控制层 -> 业务逻辑层 -> 持久化层 -> DB02 目前架构存在的问题 & maven 如何解决这些问题一个项目就是一个工程如果项目庞大,不适合用package最好一个模块一个工程,利于分工maven可以将一个工程区分成多个需要的jar包要手动复制、粘贴到web-inf/lib目录下同样的jar包重复出现在不同工程中,浪费存储空间Maven将jar包存在“仓库”中,有需要使用的工程

2020-06-09 11:29:02 258

原创 java后端学习计划

java后端开发学习计划01编程基础(1)java基础语法面向对象接口容器异常范型反射注解I/OJVM虚拟机类加载机制字节码执行机制JVM内存模型GC垃圾回收JVM性能监控与故障定位JVM调优多线程/并发并发编程的基础线程池锁并发容器原子类JUC并发工具类(2)数据结构和算法数据结构字符串数组链表堆、栈、队列二叉树哈希图算法排序查找贪心分治动态规划回溯(3)计算机网络ARP协议IP、ICMP协议T

2020-06-08 14:33:01 1056

【人工智能推理部署】Deepseek双机推理部署流程:昇腾平台模型推理与服务化配置指南了在昇腾

内容概要:本文详细介绍了Deepseek双机推理部署的具体步骤。首先,推理前准备包括下载昇腾镜像仓库的最新推理镜像、从huggingface下载模型权重并调整文件夹权限,以及检查机器网络情况,确保网络配置正确。接着,创建rank_table_file.json文件用于定义设备间的通信关系,并将其权限设置为640。然后,启动推理镜像,挂载必要的驱动、权重和配置文件,并进入容器配置通信环境变量。随后,进行纯模型推理,包括精度测试和性能测试,通过运行特定脚本在所有机器上同时执行。最后,对于服务化推理,设置环境变量、修改服务化参数并拉起服务,确保多机推理顺利进行。; 适合人群:具备一定硬件和深度学习基础知识,对昇腾平台有一定了解的研发人员和技术支持人员。; 使用场景及目标:①在双机或多机环境下部署深度学习模型推理任务;②进行模型的精度和性能测试;③实现模型的服务化部署,提供API接口供外部调用。; 其他说明:文档提供了详细的命令行操作指南,确保每一步骤都能被准确执行,特别强调了网络配置和环境变量设置的重要性,以避免常见的部署问题。在进行服务化推理时,需注意不同节点之间的配置差异,特别是容器IP地址和NPU设备ID的设置。

2025-06-25

【深度学习性能优化】非均匀分布输入对deepseek R1模型性能影响及优化方案:解决吞吐量下降问题

内容概要:本文探讨了在特定配置下(deepseek R1,mindie 2.0.t6版本),昇腾NPU处理非均匀分布输入数据时出现的性能劣化问题。测试条件包括上下文长度16k+4k,TP/DP/MOE_TP/MOE_EP均为4,maxPrefillBatchSize=40。测试发现,当输入数据长度固定为4K+1K时,系统能达到500 tokens/s。然而,当使用512条非均匀分布数据作为输入时,吞吐量降至约340 tokens/s,主要原因是解码时间不均和prefill优先处理机制。通过高斯分布生成数据,吞吐量略好但仍低于固定长度情况。最终,通过固定输出长度(使用ignore_eos参数),吞吐量提升至434.8 tokens/s,接近合理范围。 适合人群:从事深度学习模型优化、高性能计算或对模型推理性能有研究需求的技术人员。 使用场景及目标:①分析不同输入数据分布对模型推理性能的影响;②探索优化非均匀分布输入数据处理的方法,提高系统吞吐量;③理解prefill和decode机制对性能的影响。 阅读建议:读者应重点关注输入数据长度变化对系统性能的具体影响,以及通过调整参数(如ignore_eos)来优化性能的实际效果。建议结合实际应用场景进行对比测试,以验证文中提到的优化方案是否适用于自己的环境。

2025-06-25

【昇腾NPU线上测试】性能与精度测试差异分析及优化策略:环境变量与流量控制的影响

内容概要:文档介绍了使用昇腾NPU进行线上测试的情况,指出项目测试分为精度测试和性能测试两部分。线上测试基于真实流量,具有流量波动特点,而线下测试采用固定长度请求,两者存在差异。性能测试受环境变量(如batch size)、流量大小和波动影响,需限定时延对比性能。精度测试方面,线下方案难以完全复现线上流量,存在autoeval不运行和精度损失等问题。线上测试需确保服务非抢占式运行,并对齐基线配置。; 适合人群:从事AI模型部署、性能优化工作的工程师和技术人员。; 使用场景及目标:①理解线上与线下测试的区别,特别是流量特性带来的影响;②掌握性能测试中环境变量和流量控制要点,确保测试结果准确性;③解决精度测试中的常见问题,如autoeval不运行和精度损失。; 阅读建议:在进行线上测试前,仔细阅读文档中的注意事项,尤其是性能测试中流量控制和服务配置,以及精度测试中的问题解决方案,确保测试环境搭建合理,减少测试时间和成本。

2025-06-25

【深度学习推理部署】Deepseek单机推理部署流程:昇腾平台模型测试与服务化配置详解

内容概要:本文档详细介绍了Deepseek单机推理部署的具体步骤,涵盖推理前准备、启动容器、对话测试、纯模型推理(包括精度测试和性能测试)、服务化推理以及发送请求等环节。推理前准备包括从昇腾镜像仓库下载最新推理镜像和从HuggingFace下载模型权重;启动容器时需正确挂载驱动、权重和设备;对话测试通过执行特定命令完成;纯模型推理涉及配置参数和运行测试脚本;服务化推理包括修改配置文件和启动服务;发送请求则涉及创建和调整配置文件,运行benchmark程序并获取结果。此外,还列举了常见问题及其解决方案。 适合人群:具备一定深度学习和容器技术基础的开发者或研究人员,尤其是对昇腾平台和Deepseek模型感兴趣的用户。 使用场景及目标:①帮助用户掌握如何在昇腾平台上进行Deepseek模型的单机推理部署;②指导用户完成从环境搭建到性能评估的全流程操作;③解决部署过程中可能出现的OOM等问题,确保推理任务顺利进行。 其他说明:文档提供了详细的命令示例和参数说明,便于用户对照操作。遇到问题时,可以根据文档提供的参考链接进一步查阅资料。此外,建议在实际操作中注意调整配置参数以适应不同硬件环境,如显存不足时可适当降低某些参数值。

2025-06-25

【昇腾多模态大模型】Dit Cache优化:图像生成模型性能与精度平衡的实现方案

内容概要:文章介绍了杭州字节跳动项目中关于多模态大模型seed性能优化的情况,特别针对图像生成大模型的dit部分进行了优化。主要目标是在不降低npu精度的前提下,使性能达到竞品的1.7倍,其中dit部分的目标耗时为1.57秒。通过算子优化后,dit在npu卡上的耗时达到了1.80秒。为了进一步优化,引入了dit cache机制,即在连续的Diffusion Step间利用输入数据和激活状态的高度相似性,跳过某些block以减少计算量。具体实现包括模型初始化时创建Cache对象并在Dit模型forward内调用dit cache。测试表明,通过调整step和block参数,在确保精度基本不变的情况下,dit耗时缩短到了1.65秒。但因可能存在精度损失,仍需进一步评估。; 适合人群:对深度学习模型优化、特别是图像生成模型优化感兴趣的开发者,以及从事AI模型性能优化的研究人员。; 使用场景及目标:①了解如何在多模态大模型中应用dit cache技术以提高性能;②掌握dit cache的具体实现方式及其对模型性能和精度的影响。; 其他说明:虽然dit cache优化在性能上有显著提升,但可能带来一定的精度损失,因此在实际应用中需谨慎评估,并根据具体需求调整参数设置。

2025-06-25

【计算机视觉】YOLOv4目标检测与车道线识别视频分析系统:基于昇腾ACL平台的代码解析与实现

内容概要:本文档以YOLOV4_coco_detection_car_video样例为基础,详细解读了YOLOv4模型在视频分析中的应用。项目基于华为昇腾ACL平台加速,实现了目标检测与车道线识别于一体的功能。代码主要由函数定义、主函数`main`、全局变量三大部分构成,涵盖了预处理、模型推理、后处理、非极大值抑制、解码边界框、标签转换、车道线检测及位置计算等功能模块。其中,预处理函数`preprocess`调整图像大小以适应模型输入,主函数`main`负责初始化ACL资源、加载模型、处理视频帧并输出结果,后处理函数`post_process`对推理结果进行解码和筛选,车道线预处理函数`preprocess_frame`对帧进行车道线检测。; 适合人群:具备一定编程基础,尤其是熟悉Python、OpenCV、ACL库以及深度学习模型的开发者,特别是从事计算机视觉领域工作的研究人员和技术人员。; 使用场景及目标:①理解YOLOv4模型的工作原理及其在视频分析中的具体实现;②掌握如何利用昇腾NPU加速目标检测任务;③学习如何结合车道线检测功能增强视频分析系统的实用性;④通过实际案例加深对模型预处理、推理和后处理的理解。; 其他说明:此文档不仅提供了详细的代码解析,还介绍了每个关键步骤的具体实现方法和注意事项。对于希望深入了解YOLOv4模型及其应用的读者来说,是一份非常有价值的参考资料。建议读者在阅读时结合实际代码进行调试和实验,以便更好地掌握相关技术细节。

2025-06-25

【深度学习优化】昇腾NPU alltoallv转alltoall算子及QKV分离计算优化:Transformer模型性能提升探索文档的主要内容

内容概要:本文主要介绍了两种Transformer优化方法:昇腾alltoallv算子转化为alltoall算子和qkv通算掩盖。对于算子转化,文中指出两者均为昇腾NPU上的并行计算通信算子,但alltoall对各进程间数据大小有相同要求,而alltoallv则无此限制,故在数据大小一致时,alltoall更高效且可替代alltoallv以优化性能。对于qkv通算掩盖,原设想是通过将qkv单独切分并分别进行project运算,使q完成后的alltoall通信不必等待k、v计算完成,从而节省时间。然而实际结果表明,分开后的matmul算子计算耗时增加,导致整体性能劣化,因此该方法未被采用。; 适合人群:从事深度学习模型优化、熟悉Transformer架构以及对高性能计算有一定了解的研发人员。; 使用场景及目标:①在昇腾NPU环境下,当数据满足特定条件(各进程数据大小相同)时,通过算子转化提高Transformer模型性能;②探索qkv通算掩盖方法,虽然最终未达预期,但仍为理解模型内部机制及优化路径提供了参考。; 其他说明:文中提供的优化尝试展示了模型优化过程中的不确定性,强调了理论设想与实际效果可能存在差异,提醒研究者在进行优化时应充分考虑各种因素的影响。

2025-06-25

【多模态大模型优化】基于昇腾NPU的图像生成模型序列压缩技术:性能与精度权衡分析及实现

内容概要:文章介绍了杭州XX项目中对多模态大模型seed进行性能优化的过程,特别是针对图像生成大模型在昇腾NPU机器上的优化。主要采用序列压缩技术,即对输入张量中的图像部分进行采样处理,而文本部分保持不变,以减少输入序列长度并降低计算负担。通过调整`sample_images`函数中的`block_list`参数来控制采样范围,测试结果显示当`block`数量超过6个时,模型精度显著下降,因此最终选择5个连续的`block`进行测试。然而,测试结果表明,序列压缩虽然能在一定程度上提升性能(不开量化情况下DIT耗时提升约0.04秒),但也导致了模型精度的劣化,因此决定暂时放弃该方法,并考虑未来探索其他优化途径。; 适合人群:从事深度学习、计算机视觉领域的研究人员和技术人员,尤其是对大模型优化感兴趣的读者。; 使用场景及目标:①理解图像生成大模型在特定硬件(如昇腾NPU)上的性能优化方法;②掌握通过序列压缩技术减少计算量的具体实现;③评估不同参数配置对模型性能和精度的影响。; 其他说明:本文详细描述了序列压缩技术的应用背景、实现细节以及测试过程,强调了在实际应用中需要权衡性能提升与精度损失的关系。建议读者关注测试过程中参数调整的具体方法及其对结果的影响。

2025-06-25

【昇腾AI推理】mindie推理容器环境搭建及部件安装卸载指南:涵盖CANN工具包、Mindie、ATB Models和torch-npu的详细步骤

内容概要:本文档详细介绍了mindie推理容器环境的搭建方法,包括环境基本部件(CANN-toolkit、CANN-kernels、CANN-nnal、Mindie、atb-models、pytorch adapter)、卸载原有部件步骤、以及各部件的安装流程。其中,CANN-toolkit是开发和推理的核心工具,CANN-kernels是二进制算子包,CANN-nnal是加速库,Mindie是AI推理加速套件,atb-models是大模型推理模型仓,pytorch adapter是PyTorch框架的昇腾扩展插件。各部件的安装和卸载都涉及下载对应版本的.run或.tar.gz包,增加执行权限,校验文件完整性,运行安装或卸载命令,并配置环境变量。安装过程中需注意版本配套和环境变量配置。 适合人群:具备一定Linux系统操作基础,从事AI开发与部署的技术人员,尤其是使用昇腾AI处理器的开发者。 使用场景及目标:①适用于需要在昇腾平台上构建AI推理业务的用户;②帮助用户掌握mindie推理环境的搭建、维护和升级方法;③确保用户能够正确安装和配置AI推理所需的各种软件包,从而提高模型推理效率。 其他说明:在安装和卸载过程中,用户应严格按照文档指引操作,确保软件包版本配套,并在安装后进行必要的环境变量配置和版本验证。此外,建议用户在操作前备份重要数据,以防意外情况发生。

2025-06-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除