- 博客(11)
- 收藏
- 关注
RSS订阅原创 显卡驱动、CUDA、NVIDIA Container Toolkit 内网离线安装教程**
摘要：本文详细介绍了在无法联网的服务器上私有化部署AI应用的基础环境搭建流程，包括离线安装NVIDIA显卡驱动、CUDA工具包、NVIDIA Container Toolkit和Docker。通过可联网机器下载所需安装包并传输至内网服务器，依次完成驱动安装（验证nvidia-smi）、CUDA配置（验证nvcc -V）、容器工具包部署及Docker引擎安装（验证docker version）。最终通过docker run --gpus all测试容器GPU调用能力，确保服务器具备运行AI应用的完整环境。文中
2025-12-24 14:16:13
849
原创 Docker+vLLM内网离线部署Qwen3 流程
本文介绍了在CentOS 7系统下进行VLLM容器化部署Qwen3-32B大模型的内网离线方案。首先需准备Nvidia显卡驱动、CUDA 12.4和Docker环境。通过联网机器拉取vllm/vllm-openai镜像并导入内网服务器，同时从魔塔社区下载模型文件。部署时使用docker run命令启动容器，配置了GPU资源、内存共享、端口映射等参数，特别指定了模型路径、并行计算、内存利用率等关键参数。该方案实现了大模型在内网环境的安全高效部署，适用于需要离线运行的AI推理场景。
2025-12-14 12:38:40
432
原创 NPM 包发布完整实战方案
本文详细介绍了NPM包发布的完整流程，包括环境准备、认证配置、预发布检查、正式发布和问题排查五个阶段。重点解决了双因素认证(2FA)导致的403错误问题，提供了两种解决方案：启用2FA或创建细粒度令牌。文章还包含发布脚本模板和常见错误排查表，强调认证有效性、包名唯一性、版本管理和文件完整性等关键成功要素。通过此方案可系统性地完成NPM包发布工作。
2025-12-14 11:30:12
344
原创 docker 下部署 vLLM 启动Qwen3-VL-32B-Instruct模型
摘要：本文介绍在CentOS系统下使用Docker部署vLLM启动Qwen3-VL-32B-Instruct大模型的完整流程。主要内容包括：1）拉取vLLM官方镜像和下载模型文件；2）提供详细的容器启动脚本，包含GPU分配、模型挂载、端口映射及多项优化参数配置；3）说明使用双A10显卡(TP=2)运行32B参数模型的关键设置；4）给出API测试验证方法。该方案针对大模型部署进行了内存、线程和安全策略等多方面优化，适合在有限显存环境下高效运行视觉语言大模型。
2025-12-04 20:05:51
235
原创 PolarDB-X下使用备份工具t-polardbx-engine-xtrabackup
本文针对PolarDB-X的xtrabackup工具在CentOS 8等新系统上的兼容性问题，提出两种零侵入解决方案。方案一通过创建独立目录存放旧版库文件，配合wrapper脚本和环境变量临时注入，实现兼容运行而不影响系统原有环境；方案二采用强制安装旧版库RPM包的方式快速解决依赖问题，支持一键卸载恢复。两种方案均无需降级系统组件或修改glibc，保持系统原有命令版本不变，支持自动化部署和快速回退，特别适合生产环境使用。
2025-12-03 14:27:57
522
原创 Windows 下安装UV
UV是一款专为Windows设计的轻量级命令行软件管理工具，仅需20MB即可实现类似Linux apt的软件管理体验。支持一键安装/卸载/更新软件（如uv install python@3.12），并提供临时沙盒模式（uvx ffmpeg执行后自动清理）。具有多版本切换、依赖冲突检测、无注册表污染等特点，所有软件缓存集中存储在用户目录。安装仅需三步：下载解压、添加PATH、验证版本，支持国内镜像加速，卸载时直接删除目录即可完全清理。开发者无需管理员权限即可快速搭建高效的命令行软件管理环境。
2025-11-07 19:07:35
531
原创 ARM 架构上基于 ProxySQL 部署 PolarDB-X 高可用集群实战指南
本文介绍了在ARM架构上部署基于ProxySQL的PolarDB-X高可用集群的实战指南
2025-11-01 23:51:24
488
原创 Ollama 通过GGUF 文件本地运行任何开源大模型
3、打开ollama 终端输入：ollama create baichuan2-7b -f Modelflie.txt。1、下载 GGUF --》Hugging Face 里搜索下载 （baichuan gguf、qwen gguf）创建一个新的模型文件 名字 【baichuan2-7b】 使用 读取 Modelflie.txt 文件。2、下载文件到本地后 然后在同目录创建一个 txt 文建。
2024-03-28 14:35:39
9248
2
原创 Jenkins 、gitlab、实现CICD持续集成
Gitlab 安装1 安装环境依赖2 获取gitlab 包3、安装gitlab-通过本地的 rpm 包安装gitlab3.1 继续执行4、修改gitlab 的配置5、测试gitlab命令行是否正确6、 gitlab 的相关命令7、gitlab 运行的组件如下：GitLab 由主要由以下服务构成，他们共同承担了 Gitlab 的运作需要Nginx:静态 web 服务器gitlab-shell:用于处理 Git 命令和修改 authorized keys 列表。
2023-11-28 19:37:04
239
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人