- 博客(10)
- 收藏
- 关注
原创 使用vLLM-Ascend基于昇腾910B服务器部署大模型——以Qwen3-Coder和Qwen3-VL为例
分享一下最近使用vLLM-Ascend部署Qwen3-Coder-30B-A3B和Qwen3-VL-30B-A3B模型的经验,其实在中已经介绍得很清楚了,建议还是优先阅读官方文档。本文主要面向懒得看英文的读者,同时略去了一些与本人部署环境无关的信息。实际使用中,部署一个30B左右的大模型需使用4~8张卡(与最大上下文长度设置和并发数有关)。下面介绍使用vLLM-Ascend部署Qwen3-Coder-30B-A3B和Qwen3-VL-30B-A3B模型的主要步骤。
2025-12-04 14:27:25
967
原创 使用Git上传代码仓库
如果目标远程仓库为私密仓库,则可能需要输入登录账号和密码。将其中的仓库URL替换为项目待提交的实际远程仓库URL。下载并安装Git,安装方法基本选择默认配置即可。如果想推送至默认主分支中,则分支名应为。(对于较早版本的Git,主分支可能名为。参数后填写本次提交的简要描述。
2025-12-01 16:43:45
226
原创 使用MindIE基于昇腾910B部署大模型——以Qwen3-32B为例
申请下载模型镜像包mindie_2.0.T18.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz(Qwen3-32B镜像)。“torch_dtype”: “float16”, # 910B不支持bfloat16浮点数。为容器内模型存储地址(可自由定义),为该容器占用的NPU编号,键退出编辑模式,然后输入。键退出编辑模式,然后输入。为宿主机模型存储地址,
2025-07-31 14:26:18
4630
1
原创 Windows系统终端使用VPN运行代码
我们在运行代码时经常需要从网站上下载模型或数据集等,但一些国外的网站因政策原因无法正常连接,因而需要使用VPN,那么如何在本地终端中运行代码时使用VPN呢?
2024-06-19 19:06:32
4118
1
原创 安装torch_scatter,torch_sparse
安装torch_scatter,torch_sparse问题描述解决方法问题描述在安装这两个包时,如果直接使用pip install torch_scatter和pip install torch_sparse,可能会遇到如下错误:Error: Command errored out with exist status 1:解决方法解决方法是可以手动安装,即手动从官网下载.whl包然后再pip安装。首先查看自己的pytorch版本:pip list以及cuda版本(如果有GPU的话):
2022-01-17 13:17:34
2400
原创 Windows系统配置tensorflow2环境
Windows系统配置Tensorflow2环境安装NVIDIA驱动程序安装CUDA创建环境配置环境参考资料本文整理了笔者在windows系统下配置tensorflow2的GPU运行环境时遇到的一些问题。安装NVIDIA驱动程序要想使用GPU运行深度学习模型,首先要确保你的计算机上有独立显卡,并安装与你的显卡适配的NVIDIA驱动程序,显卡信息查看方式为“控制面板-小图标查看方式-设备管理器-显示适配器”,NVIDIA驱动程序可以上官网下载并安装。安装CUDA安装好驱动程序后还需要安装适配版本的C
2022-01-10 23:41:50
911
原创 微博scrapy爬虫实战经验分享
微博scrapy爬虫实战经验分享这两天想要爬一些微博的数据,在github上找到了开源代码,但是在实际使用过程中遇到了很多困难,在此做一下记录。安装MongoDB首先安装MongoDB,Windows系统教程可以参考这里。获取微博小号因为需要爬的数据量较大,笔者采用了senior版本,通过构建微博小号账号池来提高爬虫效率,因此购买了一些微博小号。目前网页版微博已经全部需要验证码登录了,但是有一些小号可以在手机微博极速版APP上免验证登录,从而可以手动获取账号的cookie。这里说一下,购买的小
2021-01-23 09:44:41
1017
原创 中国科学院自动化所2020年考博经验分享
笔者是2020年的应届硕士生,今年通过了中国科学院自动化研究所的普博申请。从正式备考到最终尘埃落定前后有10个月时间,好在最终成功通过考核,努力并没有白费。现在有空和大家分享一些个人在考博过程中的经验和教训。本人基本情况首先简单介绍一下笔者的个人情况。笔者本科为垫底211,保研至北京某211高校,攻读两年制的统计学学硕,因此笔者报考自动化所的模式识别方向是有一定跨专业的,但是从报名情况以及最终的录取结果来看,报考自动化所普博的考生专业分布非常广泛,基本只要是理工科出身都可以尝试。笔者硕士期间只有一篇未发
2020-08-28 11:56:42
7945
7
原创 macOS Catalina 10安装MongoDB
macOS Catalina 10安装MongoDB更改数据库路径修改目录权限参考文献:今天想安装一下MongoDB,中途遇到了不少困难,决定总结一下。过程主要参考了mac 安装和使用MongoDB,前面按流程走就可以,但是在1.4步“在根目录下新建 data 文件夹”出现了问题,由于macOS Catalina版本开始根目录Macintosh HD变为只读,不再可写,导致无法新建文件夹,因此...
2019-11-09 17:04:11
848
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅