- 博客(65)
- 收藏
- 关注
原创 在ARM64平台构建RAGFlow Docker镜像【自用精简版】
利用清华PyPI镜像与HF-Mirror,解决国内环境依赖下载难题,通过Docker构建与配置,快速完成ARM64版本的RAGFlow私有化部署,打造高效文档理解与检索系统。
2025-12-02 14:06:26
289
3
原创 Linux系统离线手动安装docker【最简单精简版】
本文介绍了在openEuler 22.03-LTS系统上安装Docker 24.0.2的简明步骤:1)下载ARM64二进制包;2)解压并复制到/usr/bin/;3)配置systemd服务;4)启动Docker服务。实测验证包含完整的版本信息确认,确保安装成功。该方法适用于ARM架构的openEuler系统,提供了一种官方二进制包部署方案。
2025-11-10 11:12:39
562
原创 Linux系统安装docker-compose【速度最快精简版】
本文介绍了通过curl在线安装Docker Compose的最简单方法,包含4个步骤:下载二进制文件、添加执行权限、创建软链接以及验证安装。该方法自动识别系统架构,确保命令全局可用,最后通过版本检查确认安装成功。图文结合,操作简单明了,适合快速部署Docker Compose环境。
2025-11-10 11:07:39
189
原创 寒武纪MLU环境安装部署GPUStack【MLU370-S4】
本文介绍了GPUStack在寒武纪MLU设备上的安装指南。支持Linux/AMD64平台,通过pip安装。需先检查寒武纪驱动是否安装,并获取专用PyTorch Docker镜像。安装步骤包括进入Docker环境、激活虚拟环境、安装GPUStack及其依赖。安装完成后,使用gpustack start命令启动服务,访问Web界面管理。还提供了添加工作节点的方法,可通过获取注册令牌实现多机集群部署。
2025-09-23 17:21:04
823
原创 寒武纪MLU环境搭建并部署DeepSeek【MLU370-S4】
本文介绍了在UOS 1070e系统上使用寒武纪MLU370-S4加速卡部署DeepSeek-R1-Distill-Qwen-14B模型的完整流程。重点包括:1) 在/srv1目录下准备模型文件;2) 加载优化后的Docker镜像;3) 正确配置容器参数并启动服务;4) 通过curl测试验证部署效果。特别针对UOS系统特性提供了路径兼容性建议和常见问题解决方案,确保能够成功在国产操作系统和硬件环境下运行大模型服务。
2025-09-23 17:10:27
1319
2
原创 Atlas300I(duo)昇腾部署Qwen3-Embedding和Qwen3-Reranker【详细版】
本文介绍了在昇腾Atlas卡上运行Qwen3-Embedding-0___6B模型的完整流程。首先需要安装驱动、固件和Ascend-docker-runtime环境,然后下载官方使能镜像和模型文件。通过配置docker run命令启动容器,映射设备文件和环境变量,最后验证模型是否成功启动。整个过程详细说明了从环境准备到模型部署的各个步骤,为在昇腾硬件上运行大模型提供了完整的操作指南。
2025-08-25 10:20:58
1387
原创 Linux系统磁盘未分配的空间释放并分配给 / 根目录的详细操作【openEuler系统】
摘要: 通过 parted 工具的 Fix 命令修正 GPT 表,释放未使用的 500GB 空间。修正后需扩展分区和逻辑卷:先刷新分区表,然后扩展物理卷(PV)和逻辑卷(LV),最后根据文件系统类型调整文件系统大小(Ext4用resize2fs,XFS用xfs_growfs)。验证结果显示根目录从 60.9GB 扩容至约 526GB。完整步骤确保磁盘空间有效利用。(150字)
2025-08-01 17:05:27
690
原创 ubuntu24.04安装CUDA、VLLM、Pytorch等并部署Qwen3-8B-AWQ【50系显卡通用】
ubuntu24.04安装CUDA、VLLM、Pytorch等并部署Qwen3-8B-AWQ【50系显卡通用】
2025-07-22 12:17:15
699
原创 The current PyTorch install supports CUDA capabilities sm_50 sm_60 sm_70 sm_75 sm_80 sm_86 sm_90.
The current PyTorch install supports CUDA capabilities sm_50 sm_60 sm_70 sm_75 sm_80 sm_86 sm_90.问题处理
2025-07-22 11:41:14
1100
5
原创 DeepSeek-R1模型思考</think>没有<think>【解决方法】
针对DeepSeek-R1模型输出中缺失`<think>`标签的问题,以下是**详细修改`tokenizer_config.json`文件的操作步骤**及原理说明
2025-07-21 16:21:34
1440
原创 MindIE关于Qwen3 如何开启和关闭思考模式【说明版】
Qwen3模型可通过三种方法控制思考模式:(1) Prompt追加/no_think快速关闭思考;(2) API调用时设置enable_thinking参数动态控制;(3) 修改配置文件改变默认行为。其中Prompt方式最便捷,API参数灵活性高,配置文件适合固定部署场景。思考模式会显著影响推理速度,建议根据任务需求选择控制方法,不同部署框架需注意兼容性差异。未来可能通过Agent框架实现自动切换功能。
2025-07-01 10:02:54
6861
原创 昇腾910(NPU)安装paddlepaddle【自用版】
芯片类型CANN 版本驱动版本昇腾 910CANN 7.0.123.0.2注意分支仅支持昇腾 910芯片。如需支持昇腾 910B芯片,请切换到develop分支。查看芯片类型命令:# 昇腾 910lspci | grep d801 ##驱动显示910B是910芯片# 昇腾 910Blspci | grep d802 ##驱动显示910B1-4才是910B芯片。
2025-06-27 16:03:08
1331
2
原创 Entering emergency mode. Exit the shell to continue“journalctl‘to view system logs。【比较全的解决办法】
Linux 系统紧急模式故障排查指南当系统进入紧急模式时,通常因文件系统损坏、LVM配置异常或启动加载错误导致。
2025-06-06 12:13:41
2068
原创 Qwen3-30B对比QwQ-32B【水篇1】
本文对比了Qwen3-30B-A3B和QwQ-32B两款模型在参数规模、性能表现、适用场景及适配优化方面的差异。Qwen3-30B-A3B以低激活参数实现高效推理,适合对速度和成本敏感的场景;而QwQ-32B在复杂推理任务中表现优异,但计算资源消耗较高。两款模型均已适配国产芯片(鲲鹏昇腾),用户可根据具体需求选择:Qwen3-30B-A3B适合综合效率与成本控制,QwQ-32B则更适合复杂推理任务。
2025-05-22 16:05:02
5307
原创 鲲鹏+昇腾Atlas800IA2(910B4)部署Qwen3-32B【简单自用版】
Qwen3-32B是Qwen系列中最新一代的大型语言模型,具备强大的推理、指令遵循、代理功能和多语言支持能力。该模型支持思维模式和非思维模式的切换,适用于复杂逻辑推理和高效通用对话。部署Qwen3-32B需要下载相应的权重数据和镜像包,并通过Docker加载镜像并启动容器。在配置文件中设置模型权重路径和使用的芯片数量后,可以拉起服务化推理并进行测试。尽管在部署过程中可能会遇到依赖问题,但通过社区支持可以顺利解决。Qwen3-32B在多种任务中表现出色,提供了更自然、更沉浸式的对话体验。
2025-05-22 15:42:15
5763
13
原创 Linux系统(OpenEuler22.03-LTS)部署FastGPT
Linux系统(OpenEuler22.03-LTS)部署FastGPT
2025-05-08 14:05:48
1220
原创 昇腾的昇思MindSpore是什么?跟TensorFlow/PyTorch 等第三方框架有什么区别和联系?【浅谈版】
昇腾的昇思MindSpore是什么?跟TensorFlow/PyTorch 等第三方框架有什么区别和联系?【浅谈版】
2025-05-03 15:51:56
2410
原创 GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
鲲鹏+GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
2025-04-27 15:23:24
3803
10
原创 eNSP无法启动AR报错码40,而且按照eNSP帮助手册排查都没用,我的处理方法【自己存档版】
eNSP无法启动AR报错码40,而且按照eNSP帮助手册排查都没用,我的处理方法【自己存档版】
2025-04-18 22:20:15
6935
原创 鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
2025-04-14 23:45:45
2447
4
原创 银河麒麟服务器操作系统V10安装Nvidia显卡驱动和CUDA(L40)并安装ollama运行DeepSeek【开荒存档版】
银河麒麟服务器操作系统V10安装Nvidia显卡驱动和CUDA(L40)并安装ollama运行DeepSeek【开荒存档版】
2025-04-11 11:29:53
4258
原创 已经安装了pip,出现pip command not found【解决方法】
已经安装了pip,出现pip command not found【解决方法】
2025-04-11 00:11:33
2642
原创 银河麒麟v10(arm架构)部署Embedding模型bge-m3【简单版本】
银河麒麟v10(arm架构)部署Embedding模型bge-m3【简单版本】
2025-04-11 00:02:26
2112
3
原创 ubuntu安装docker和docker-compose【简单详细版】
ubuntu安装docker和docker-compose【简单详细版】
2025-04-07 21:42:05
3313
2
原创 Ubuntu 24.04 LTS系统安装RTX 4090显卡驱动和cuda并部署ollama下载DeepSeek模型【自用详细版】
Ubuntu 24.04 LTS系统安装RTX 4090显卡驱动和cuda并部署ollama下载DeepSeek模型【自用详细版】
2025-04-07 21:18:20
3062
原创 vscode集成deepseek实现辅助编程(银河麒麟系统)【详细自用版】
vscode集成deepseek实现辅助编程(银河麒麟系统)【详细自用版】
2025-04-01 15:14:47
1548
原创 基于银河麒麟桌面&&服务器操作系统的 DeepSeek本地化部署方法【详细自用版】
基于银河麒麟桌面/服务器操作系统的 DeepSeek本地化部署方法【详细自用版】
2025-04-01 15:03:15
1468
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅