- 博客(6)
- 收藏
- 关注
RSS订阅原创 Docker容器本地部署VLLM大模型推理框架-Qwen3系列
本文介绍了如何在 Docker 容器中部署 VLLM 大模型推理框架（以 Qwen3-14B 为例）。首先阐述了 Docker 容器化的优势，包括资源隔离、快速部署、可扩展性和安全性。接着详细讲解了环境准备步骤：设置 WSL2 网络、安装 NVIDIA 驱动、配置 Docker 以及下载 VLLM 镜像。重点说明了 NVIDIA Container Toolkit 的作用及安装方法，该工具包使 Docker 容器能够访问宿主机的 GPU 资源。最后提供了 VLLM 镜像的国内下载源，帮助用户快速完成部署。
2025-09-04 00:25:07
1792
1
原创 Window环境下使用VLLM高效推理框架本地部署模型
本文介绍了在Windows系统下使用WSL部署vLLM高效推理框架的完整方案。首先对比了Ollama、VLLM、SGLang、LightLLM和Llama.cpp等主流本地大模型部署框架的特点。重点讲解了在Windows中安装WSL的详细步骤，包括系统要求、功能启用和Ubuntu子系统安装。随后展示了如何在Linux环境中搭建vLLM运行环境，包括Anaconda的安装配置。该方法实现了Windows与Linux系统的无缝交互，使开发者能在保留Windows游戏娱乐功能的同时，获得高效的本地大模型推理能力，
2025-06-15 23:53:10
4144
1
原创 Windows安装Anaconda详细教程
Anaconda 是一个面向数据科学、机器学习和科学计算的开源 Python 发行版，通过 Conda 包管理器和环境管理系统提供一站式解决方案，集成 200 多个常用科学计算库（如 NumPy、Pandas、Scikit-learn），支持跨平台（Windows、macOS、Linux）开发，内置图形化界面（Anaconda Navigator）简化工具启动流程，适用于数据分析、科研及企业应用，其核心优势在于简化依赖管理、提升开发效率，并依托庞大社区生态降低入门门槛，是数据科学领域主流工具之一。
2025-06-02 14:07:34
2302
1
原创 CentOS基于Docker安装Elasticsearch
Elasticsearch 是一个开源的分布式搜索和分析引擎，用于全文检索、结构化数据的实时搜索以及各种数据分析场景。它基于 Apache Lucene 搜索库构建，并且是一个广泛使用的搜索引擎之一。1.实时索引与查询能够迅速索引文档并立即进行搜索。2.分布式的架构设计支持水平扩展，可以部署在多台服务器上以处理大量数据和高并发访问。3.高可用性具有集群特性，可以在节点之间复制数据，确保系统的稳定性和可靠性。
2025-04-21 00:08:08
889
原创 mybatis-plus框架TABLE_INFO_CACHE获取不到对应的TableInfo对象
mybatis-plus框架TABLE_INFO_CACHE获取不到对应的TableInfo对象
2022-12-09 23:33:32
8783
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人