- 博客(13)
- 收藏
- 关注
RSS订阅原创 服务化参数调优实战
maxBatchSize = Total Block Num/Block Num，需要先计算出"Total Block Num"和"Block Num"的值。最大maxBatchSize = Floor[Total Block Num/所需最小Block Num] = 2176。平均maxBatchSize = Floor[Total Block Num/所需平均Block Num] = 544。计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8。
2025-04-18 11:35:27
586
原创 DeepSeek-R1-Distill-Qwen-1.5B基于MindIE推理实践
1）进入登录昇腾镜像仓库：https://www.hiascend.com/developer/ascendhub。根据实际情况修改下面datasetpath, modelname, modelpath参数。根据实际情况修改下面datasetpath, modelname, modelpath参数。2）申请权限后，下载对应的镜像版本。保证上面的4.1.3操作已完成！
2025-03-10 18:02:11
531
原创 MindIE对接vLLM框架开发指南
vLLM框架在昇腾环境适配的整体方案为上层运行vLLM框架原生的逻辑，包括请求调度、Batch组建、Ray分布式拉起多卡服务等；下层模型推理与后处理通过MindIE LLM提供的GeneratorTorch统一接口接入MindIE模型仓统一进行管理，实现加速库整图模式的模型推理加速。
2025-01-17 14:17:27
598
原创 MindIE+MindFormers推理方案指导
CANN是什么异构计算架构CANN（Compute Architecture for Neural Networks）是昇腾针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速构建基于昇腾平台的AI应用和业务。总体架构。
2025-01-16 11:24:21
1029
原创 MindIE Service整体介绍&快速上手
MindIE Service是面向通用模型场景的推理服务化框架，通过开放、可扩展的推理服务化平台架构提供推理服务化能力，支持对接业界主流推理框架接口，满足大语言模型的高性能推理需求。
2025-01-03 15:37:22
2182
原创 PyTorch模型训推迁移到昇腾实战
牵引快速把在GPU训推的pytorch模型迁移到昇腾硬件上，使用cann，torch_npu, mindie等关键组件
2024-12-20 09:47:08
1104
原创 IDEA常用快捷键及模板
IDEA常用快捷键及模板快捷键模板快捷键Ctrl + D：复制当前光标所在行ctrl + Y: 删除光标所在行ctrl + N: 全局搜索类名Ctrl + O：重写基类的方法Ctrl + I：实现基类或接口中的方法Alt + Enter：导包、方法throws异常、try-catch包装等ctrl + shift + N: 按文件名搜索文件ctrl + H: 查看类的继承关系alt + F7: 查看类或方法在哪被使用ctrl + F: 按照文本内容查找（当前文件）shift + sh
2022-04-30 14:46:41
793
原创 __new__/__init__/super()详解
__new__/__init__/super的用法详解__new__讲解：super讲解：__new__讲解：__new__称作构造方法，属于类方法，用于创建一个实例对象。必须要有返回值，如果返回的是本类的实例，则返回实例对象会自动调用__init__方法（如果定义了该方法的话），如果返回的不是本类实例，则不会调用本类的__init__方法。class Test: def __init__(self): print("TEST __init__")class A:
2021-04-26 23:10:04
305
原创 python中下划线详解
python中各种下划线的理解前单下划线：_var作用：只在内部实现，不想被外部访问实例：前双下划线：__var作用：使用双下划线会导致其访问名称变成其他形式，这种属性在继承中是无法被覆盖的。实例：后单划线：var_作用：如果定义的变量和python关键字有冲突的话，则可以使用var_这种格式三种下划线区别前单下划线：_var作用：只在内部实现，不想被外部访问如果我们想封装实例的私有属性，不被外部访问，只在本类中使用访问。则可以通过遵循一定的属性和方法命名约定来达到这种效果。tips: 这种命名
2021-04-26 07:00:26
422
1
原创 数据结构及底层原理实现
数据结构及其底层原理实现区分物理结构和逻辑结构物理结构介绍数组链表数组和链表的区别逻辑结构介绍栈(stack)队列双端队列栈和队列的应用散列表（哈希表）树的介绍二叉树什么是二叉树二叉树的应用二叉树的遍历二叉堆优先队列python常见数据类型的底层实现原理list类型的底层实现tuple类型的底层实现dict类型的底层实现set类型的底层实现区分物理结构和逻辑结构物理结构：数据在内存中的真实存储方式逻辑结构：是一个抽象的概念，可以说是在物理结构的基础上“想象”出来的一种数据存储格式。常见数据结构分类：
2021-03-29 08:19:54
1833
3
原创 MYSQL增删改查
MYSQL的增删改查一、数据库的操作创建数据库查看所有的数据库切换当前数据库查看当前选中的数据库查看数据库创建信息删除数据库二、表的操作表的创建、查看、删除删除多个表查看表结构修改表名移动表到其他数据库增加列删除列修改列信息插入数据外键三、查询语句（待补充）一、数据库的操作创建数据库CREATE DATABASE IF NOT EXISTS 数据库名;mysql> create database if not exists test charset=utf8;Query OK, 1 row
2021-01-31 09:54:22
397
2
原创 GIT日常使用
git的工作手册1.git初始化配置1.1用户信息1.2查看配置信息1.3git提交信息模板配置1.4查看帮助2.在服务器配置git2.1本地协议2.2ssh协议3.git常用操作4.git分支5.多人合作开发1.git初始化配置1.1用户信息$git config --global user.name "beolus"$git config --global user.email "xxx@163.com"1.2查看配置信息$git config user.namebeolus$git
2021-01-25 23:07:51
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人