hml111-优快云博客

原创放弃 Gin、Kitex、Beego：我们为什么坚定地选择了go-zero？

摘要：go-zero作为一站式微服务框架，相比Gin、go-kit等方案，提供了完整的工程化体系而非技术堆砌。其内置REST/gRPC服务、API网关、熔断限流等核心能力，支持代码生成和标准目录结构，显著提升开发效率。框架默认集成高并发处理能力，兼容主流中间件，适合中大型后台系统和高并发场景。对比其他框架，go-zero在团队协作和工程规范上优势明显，是快速构建稳定微服务体系的优选方案，尤其适合经验有限的团队避免重复造轮子。

2026-02-15 22:26:34 1567

原创 OpenStack入门指南

OpenStack是一个开源云计算平台，用于构建私有云/公有云系统，类似开源版的AWS或阿里云。它通过Nova、Neutron等核心组件实现虚拟机管理、网络配置、存储服务等功能，支持快速创建云服务器、自动扩容等需求。学习OpenStack建议从理解基础概念开始，通过DevStack或Packstack进行单机部署实践，重点掌握创建云主机、配置网络等核心操作。典型部署包含控制节点、计算节点和网络节点，适合企业搭建内部云平台。学习难点在于网络配置复杂和服务组件繁多，建议先实践使用再深入研究实现原理。

2026-02-09 20:41:44 1088

原创高可用组件Keepalived安装与配置

摘要：本文介绍了Keepalived高可用组件的安装与配置方法。Keepalived基于VRRP协议实现负载均衡和高可用性，适用于Nginx、MySQL等服务。文章详细说明了在Ubuntu环境下从官网下载稳定版本、解压编译安装的步骤，并提供了主备节点的配置文件示例。配置要点包括虚拟路由标识、优先级设置、健康检查脚本等参数说明，以及日志查看方法。通过正确配置，可实现服务故障时自动切换，确保系统高可用性。

2026-02-08 19:55:29 1300

原创 vLLM 调用 SmolVLM-256M 的实战场景

摘要：vLLM框架与SmolVLM-256M模型结合，构建高效多模态AI系统。vLLM提供高性能推理引擎，SmolVLM-256M作为轻量级视觉语言模型适用于边缘设备。二者协同实现"云端一体"架构，边缘端负责感知，云端处理复杂任务。应用场景包括工业质检（缺陷检测+OCR）、内容审核等，代码示例展示了图像/视频处理流程。该方案特别适合资源受限环境，为IoT、XR等设备提供高效AI能力，未来可结合FastAPI等框架扩展更多应用场景。

2026-02-07 23:27:06 405

原创 vLLM 常见报错与排查指南

本文总结了生产环境中常见的大模型部署问题及解决方案。针对显存溢出(CUDA out of memory)问题，建议检查模型大小、调整KV Cache配置参数；多卡NCCL错误可通过检查GPU拓扑或临时禁用多卡通信解决；请求无响应问题可通过增大max-num-seqs等参数优化；PyTorch CUDA版本错误需重新安装GPU版本；模型加载卡顿可通过使用国内镜像或修改缓存权限解决。总体排查思路为：先看显存，再看并发，再看 batch，最后看驱动。

2026-02-06 23:05:16 1124

原创 vLLM 核心关键参数详解与调优指南

本文介绍了vLLM框架的性能调优策略，重点围绕显存管理、吞吐量和延迟三个核心目标展开。通过调整模型参数（如模型精度、显存利用率）、并发控制参数（批处理token数、最大序列数）以及延迟优化参数（交换空间、执行模式），实现不同场景下的性能优化。文章提供了三种典型场景的配置模板：高并发API服务侧重吞吐稳定性，实时对话追求低延迟，离线批量生成则最大化吞吐量。调优本质是在显存占用、并发能力和响应速度之间寻找平衡，合理配置可显著提升GPU资源利用率。

2026-02-05 23:51:19 1502

原创 vLLM vs Ollama vs Transformers 全面对比

当你能把模型都跑起来后，下一个问题往往是：那我到底该选哪个方案长期使用？通常都知道Ollama 很方便，Transformers 很灵活，vLLM 很高性能，具体如何定夺还不是那么简单，还需要根据具体场景来选择，本文就对这三个框架深入对比研究，共各位开发伙伴参考。本文准备从性能、易用性、架构设计、适用场景等角度来分析，从而清楚三者差异，帮你在“能跑”和“能商用”之间做出理性选择。

2026-02-04 22:41:17 1157

原创 vLLM入门指南：从0到1，轻松完成第一次在WSL2运行

本文介绍了vLLM高性能大语言模型推理框架的安装与使用。重点说明了在WSL2环境下安装CUDA依赖、通过ModelScope下载轻量级模型SmolVLM-256M（仅需1G显存）的步骤，并详细展示了模型加载配置参数。文章提供了三种测试方法：curl查询模型信息、图片内容解析API调用以及Python测试脚本示例，帮助初学者快速验证服务可用性。最后总结了vLLM的基本运行流程，为开发者提供了入门实践指导。

2026-02-03 22:55:54 826

原创 WSL2环境下安装vLLM

本文详细介绍了在WSL2环境下安装vLLM大语言模型推理框架的完整流程。核心步骤包括：1)检查并配置WSL2环境，确保支持GPU透传；2)安装NVIDIA驱动和专用CUDA Toolkit（WSL-Ubuntu版本）；3)配置Python虚拟环境并安装支持CUDA的PyTorch；4)最后通过pip安装vLLM核心库。整个过程强调必须使用GPU加速环境，并提供了各环节的验证方法，包括nvidia-smi、nvcc和PyTorch的CUDA可用性检查。完成安装后可通过vllm --version命令确认安装成

2026-02-02 17:50:07 1160

原创 Win11安装WSL2手册

摘要：本文详细介绍了在Windows 11上安装WSL2的完整流程。首先需确认系统版本(Build 19041+)并启用BIOS虚拟化技术。安装过程包括：通过PowerShell或GUI启用WSL功能，安装WSL2内核更新包，设置WSL2为默认版本，以及通过Microsoft Store或命令行安装Linux发行版。文章还提供了初始化设置指导、运行状态验证方法，并针对虚拟机平台安装失败等常见问题给出了解决方案。安装完成后用户可获得完整的Linux终端环境，实现Windows与Linux系统的无缝集成。

2026-02-01 22:55:01 1541

hml111的博客