原创 Linux系统离线手动安装docker【最简单精简版】
本文介绍了在openEuler 22.03-LTS系统上安装Docker 24.0.2的简明步骤:1)下载ARM64二进制包;2)解压并复制到/usr/bin/;3)配置systemd服务;4)启动Docker服务。实测验证包含完整的版本信息确认,确保安装成功。该方法适用于ARM架构的openEuler系统,提供了一种官方二进制包部署方案。
2025-11-10 11:12:39
548
原创 Linux系统安装docker-compose【速度最快精简版】
本文介绍了通过curl在线安装Docker Compose的最简单方法,包含4个步骤:下载二进制文件、添加执行权限、创建软链接以及验证安装。该方法自动识别系统架构,确保命令全局可用,最后通过版本检查确认安装成功。图文结合,操作简单明了,适合快速部署Docker Compose环境。
2025-11-10 11:07:39
182
原创 寒武纪MLU环境安装部署GPUStack【MLU370-S4】
本文介绍了GPUStack在寒武纪MLU设备上的安装指南。支持Linux/AMD64平台,通过pip安装。需先检查寒武纪驱动是否安装,并获取专用PyTorch Docker镜像。安装步骤包括进入Docker环境、激活虚拟环境、安装GPUStack及其依赖。安装完成后,使用gpustack start命令启动服务,访问Web界面管理。还提供了添加工作节点的方法,可通过获取注册令牌实现多机集群部署。
2025-09-23 17:21:04
774
原创 寒武纪MLU环境搭建并部署DeepSeek【MLU370-S4】
本文介绍了在UOS 1070e系统上使用寒武纪MLU370-S4加速卡部署DeepSeek-R1-Distill-Qwen-14B模型的完整流程。重点包括:1) 在/srv1目录下准备模型文件;2) 加载优化后的Docker镜像;3) 正确配置容器参数并启动服务;4) 通过curl测试验证部署效果。特别针对UOS系统特性提供了路径兼容性建议和常见问题解决方案,确保能够成功在国产操作系统和硬件环境下运行大模型服务。
2025-09-23 17:10:27
1268
2
原创 Atlas300I(duo)昇腾部署Qwen3-Embedding和Qwen3-Reranker【详细版】
本文介绍了在昇腾Atlas卡上运行Qwen3-Embedding-0___6B模型的完整流程。首先需要安装驱动、固件和Ascend-docker-runtime环境,然后下载官方使能镜像和模型文件。通过配置docker run命令启动容器,映射设备文件和环境变量,最后验证模型是否成功启动。整个过程详细说明了从环境准备到模型部署的各个步骤,为在昇腾硬件上运行大模型提供了完整的操作指南。
2025-08-25 10:20:58
1296
原创 Linux系统磁盘未分配的空间释放并分配给 / 根目录的详细操作【openEuler系统】
摘要: 通过 parted 工具的 Fix 命令修正 GPT 表,释放未使用的 500GB 空间。修正后需扩展分区和逻辑卷:先刷新分区表,然后扩展物理卷(PV)和逻辑卷(LV),最后根据文件系统类型调整文件系统大小(Ext4用resize2fs,XFS用xfs_growfs)。验证结果显示根目录从 60.9GB 扩容至约 526GB。完整步骤确保磁盘空间有效利用。(150字)
2025-08-01 17:05:27
678
原创 ubuntu24.04安装CUDA、VLLM、Pytorch等并部署Qwen3-8B-AWQ【50系显卡通用】
ubuntu24.04安装CUDA、VLLM、Pytorch等并部署Qwen3-8B-AWQ【50系显卡通用】
2025-07-22 12:17:15
676
原创 The current PyTorch install supports CUDA capabilities sm_50 sm_60 sm_70 sm_75 sm_80 sm_86 sm_90.
The current PyTorch install supports CUDA capabilities sm_50 sm_60 sm_70 sm_75 sm_80 sm_86 sm_90.问题处理
2025-07-22 11:41:14
1073
5
原创 DeepSeek-R1模型思考</think>没有<think>【解决方法】
针对DeepSeek-R1模型输出中缺失`<think>`标签的问题,以下是**详细修改`tokenizer_config.json`文件的操作步骤**及原理说明
2025-07-21 16:21:34
1382
原创 MindIE关于Qwen3 如何开启和关闭思考模式【说明版】
Qwen3模型可通过三种方法控制思考模式:(1) Prompt追加/no_think快速关闭思考;(2) API调用时设置enable_thinking参数动态控制;(3) 修改配置文件改变默认行为。其中Prompt方式最便捷,API参数灵活性高,配置文件适合固定部署场景。思考模式会显著影响推理速度,建议根据任务需求选择控制方法,不同部署框架需注意兼容性差异。未来可能通过Agent框架实现自动切换功能。
2025-07-01 10:02:54
6643
原创 昇腾910(NPU)安装paddlepaddle【自用版】
芯片类型CANN 版本驱动版本昇腾 910CANN 7.0.123.0.2注意分支仅支持昇腾 910芯片。如需支持昇腾 910B芯片,请切换到develop分支。查看芯片类型命令:# 昇腾 910lspci | grep d801 ##驱动显示910B是910芯片# 昇腾 910Blspci | grep d802 ##驱动显示910B1-4才是910B芯片。
2025-06-27 16:03:08
1300
2
原创 Entering emergency mode. Exit the shell to continue“journalctl‘to view system logs。【比较全的解决办法】
Linux 系统紧急模式故障排查指南当系统进入紧急模式时,通常因文件系统损坏、LVM配置异常或启动加载错误导致。
2025-06-06 12:13:41
2013
原创 Qwen3-30B对比QwQ-32B【水篇1】
本文对比了Qwen3-30B-A3B和QwQ-32B两款模型在参数规模、性能表现、适用场景及适配优化方面的差异。Qwen3-30B-A3B以低激活参数实现高效推理,适合对速度和成本敏感的场景;而QwQ-32B在复杂推理任务中表现优异,但计算资源消耗较高。两款模型均已适配国产芯片(鲲鹏昇腾),用户可根据具体需求选择:Qwen3-30B-A3B适合综合效率与成本控制,QwQ-32B则更适合复杂推理任务。
2025-05-22 16:05:02
5182
原创 鲲鹏+昇腾Atlas800IA2(910B4)部署Qwen3-32B【简单自用版】
Qwen3-32B是Qwen系列中最新一代的大型语言模型,具备强大的推理、指令遵循、代理功能和多语言支持能力。该模型支持思维模式和非思维模式的切换,适用于复杂逻辑推理和高效通用对话。部署Qwen3-32B需要下载相应的权重数据和镜像包,并通过Docker加载镜像并启动容器。在配置文件中设置模型权重路径和使用的芯片数量后,可以拉起服务化推理并进行测试。尽管在部署过程中可能会遇到依赖问题,但通过社区支持可以顺利解决。Qwen3-32B在多种任务中表现出色,提供了更自然、更沉浸式的对话体验。
2025-05-22 15:42:15
5627
13
原创 Linux系统(OpenEuler22.03-LTS)部署FastGPT
Linux系统(OpenEuler22.03-LTS)部署FastGPT
2025-05-08 14:05:48
1214
原创 昇腾的昇思MindSpore是什么?跟TensorFlow/PyTorch 等第三方框架有什么区别和联系?【浅谈版】
昇腾的昇思MindSpore是什么?跟TensorFlow/PyTorch 等第三方框架有什么区别和联系?【浅谈版】
2025-05-03 15:51:56
2382
原创 GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
鲲鹏+GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
2025-04-27 15:23:24
3746
8
原创 eNSP无法启动AR报错码40,而且按照eNSP帮助手册排查都没用,我的处理方法【自己存档版】
eNSP无法启动AR报错码40,而且按照eNSP帮助手册排查都没用,我的处理方法【自己存档版】
2025-04-18 22:20:15
6803
原创 鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
2025-04-14 23:45:45
2398
2
原创 银河麒麟服务器操作系统V10安装Nvidia显卡驱动和CUDA(L40)并安装ollama运行DeepSeek【开荒存档版】
银河麒麟服务器操作系统V10安装Nvidia显卡驱动和CUDA(L40)并安装ollama运行DeepSeek【开荒存档版】
2025-04-11 11:29:53
4180
原创 已经安装了pip,出现pip command not found【解决方法】
已经安装了pip,出现pip command not found【解决方法】
2025-04-11 00:11:33
2610
原创 银河麒麟v10(arm架构)部署Embedding模型bge-m3【简单版本】
银河麒麟v10(arm架构)部署Embedding模型bge-m3【简单版本】
2025-04-11 00:02:26
2063
3
原创 ubuntu安装docker和docker-compose【简单详细版】
ubuntu安装docker和docker-compose【简单详细版】
2025-04-07 21:42:05
3262
2
原创 Ubuntu 24.04 LTS系统安装RTX 4090显卡驱动和cuda并部署ollama下载DeepSeek模型【自用详细版】
Ubuntu 24.04 LTS系统安装RTX 4090显卡驱动和cuda并部署ollama下载DeepSeek模型【自用详细版】
2025-04-07 21:18:20
3003
原创 vscode集成deepseek实现辅助编程(银河麒麟系统)【详细自用版】
vscode集成deepseek实现辅助编程(银河麒麟系统)【详细自用版】
2025-04-01 15:14:47
1527
原创 基于银河麒麟桌面&&服务器操作系统的 DeepSeek本地化部署方法【详细自用版】
基于银河麒麟桌面/服务器操作系统的 DeepSeek本地化部署方法【详细自用版】
2025-04-01 15:03:15
1448
原创 ollama: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.25‘ not found (required by ollama)
在麒麟V10SP3 2403系统离线安装ollama中解决缺少`GLIBCXX_3.4.25`的问题
2025-03-26 22:20:16
4021
21
RSS订阅