明王明王-优快云博客

原创从零搭建一个 AI Infra 实验室㉑：llm-d——从单个 vLLM 走向分布式推理

本篇深入 llm-d 分布式推理架构，解析负载感知路由、前缀缓存感知、KV Cache 本地性与 Prefill/Decode 分离。基于单节点 Kubernetes 和 LLM Simulator，实测智能路由与多 Pod 请求分布，理解从单个 vLLM 走向分布式推理的关键设计与挑战。

2026-11-06 07:30:00 157

原创从零搭建一个 AI Infra 实验室⑳：AI Gateway——LLM 流量为什么不能只做普通负载均衡

普通负载均衡为什么难以应对 LLM 流量？本文介绍 Gateway API、InferencePool、Endpoint Picker 及智能路由原理，并通过 Qwen、DeepSeek 模拟服务，实践 Model-aware Routing、Token-aware 调度与 Rate Limit，探索 AI 推理流量管理。

2026-11-03 07:30:00 203

原创 PVE 实验室阶段收官：完整备份虚拟机、宿主机与 ISO，未来如何恢复

随着 ThinkPad T480 即将转作他用，PVE 实验室迎来阶段性收官。本文记录如何通过 vzdump 备份全部虚拟机，并保存宿主机配置、ISO 和自定义文件，再将数据冷备份至飞牛 NAS，同时介绍 USB I/O 故障排查及未来恢复 PVE 环境的方法。

2026-11-01 07:30:00 411

原创从零搭建一个 AI Infra 实验室⑲：模型服务怎么扩容——Autoscaling、Cold Start 与 Model Cache

本篇围绕 LLM 模型服务的自动扩缩容、冷启动与模型缓存展开，通过 KServe、HPA 和 vLLM 实验，验证单 GPU 环境下的扩容限制，分析模型启动耗时及 Model Cache 的优化价值，理解模型弹性扩容的关键挑战。

2026-10-30 07:30:00 303

原创 PVE 装 OpenWrt：不改现有网络，用单臂路由让指定虚拟机上网

本文记录在 PVE 9.2.11 中安装 OpenWrt 25.12.6 的完整过程，采用 UEFI 启动和单网卡单臂路由方案，无需修改现有网络拓扑。通过配置 DHCP、NAT 和防火墙，让指定 Debian 虚拟机经 OpenWrt 上网，并完成实际验证。

2026-10-28 07:30:00 717

原创从零搭建一个 AI Infra 实验室⑱：KServe——为什么 Deployment + Service 还不够

本篇聚焦 Kubernetes 模型服务管理，介绍 KServe 的 InferenceService、ServingRuntime 与模型服务生命周期，并通过 RTX 3060 实战部署 vLLM，验证模型自动下载、GPU 调度、服务就绪及 OpenAI 兼容 API 调用，探索 KServe 相比传统 Deployment + Service 的优势。

2026-10-26 07:30:00 289

原创 PVE 老 Windows 再打磨：Remote Viewer、SPICE 与 XP 的几个关键修复

本文继续优化 PVE 上的老 Windows：让 Remote Viewer 自动缩放并支持快捷键，升级 SPICE Guest Tools 修复 XP 截图崩溃，解决 Guest Agent 无法显示 IP 的问题，并重新启用 Balloon 和 Gen ID。最后对比 XP 与 Win98 的虚拟化集成能力，为这轮折腾画上句号。

2026-10-24 07:30:00 280

原创从零搭建一个 AI Infra 实验室⑰：把 vLLM 正式跑进 Kubernetes

本篇将 vLLM 正式部署到 Kubernetes，结合 RTX 3060 实验，实践 Deployment、Service、GPU 资源分配、模型下载与 PVC 持久化缓存，打通 OpenAI 兼容 API，并通过实际数据分析模型加载、引擎初始化及 Pod 启动耗时。

2026-10-22 07:30:00 264

原创 PVE 老 Windows 补完记：让 XP 和 98 真正用好 SPICE，声音和鼠标终于舒服了

本文接续此前的 PVE Windows XP 和 98 安装实验，通过 SPICE（QXL）、AC97 音频和 USB Tablet，改善老系统的显示、声音与鼠标体验，并为 XP 安装兼容的 QEMU Guest Agent，实现 PVE 获取虚拟机 IP，让经典 Windows 更加好用。

2026-10-20 07:30:00 589

原创从零搭建一个 AI Infra 实验室⑯：一张 GPU 怎么给多个 Pod 用

一张 GPU 如何同时服务多个 Pod？本文从 Exclusive GPU、Time-Slicing、MPS、MIG 到 Device Plugin、DRA，结合 RTX 3060 实测 Kubernetes GPU 共享与多 Pod 并发。

2026-10-18 07:30:00 504

原创 PVE 装 Windows 98 SE：体验当初的系统

在 PVE 上安装 Windows 98 SE，解决关机蓝屏、PCI 枚举、USB 鼠标、IDE DMA、网卡和显示驱动等问题，最终得到一套设备完整、运行稳定的怀旧 Windows 98 虚拟机。

2026-10-16 07:30:00 95

原创从零搭建一个 AI Infra 实验室⑮：GPU Operator——AI 集群为什么不能靠手工装驱动

本文介绍 NVIDIA GPU Operator 如何将 Driver、Container Toolkit、Device Plugin、GFD 与 DCGM 纳入 Kubernetes 统一管理，并通过 Helm 实验观察 GPU 资源、节点标签与监控指标，理解 AI 集群为何不能长期依赖手工维护。

2026-10-14 07:30:00 632

原创 PVE 装飞牛 fnOS 1.2：从虚拟机创建到数据盘配置

在 PVE 中安装飞牛 fnOS 1.2，配置 64GB 系统盘与 200GB 数据盘，并完成 SSH、QEMU Guest Agent 和存储空间设置，顺便聊聊下载、影音、AI 与 All-in-One 家庭服务器的更多玩法。

2026-10-12 07:30:00 392

原创 Ubuntu 26.04 的 Windows Spotlight 最终方案：强烈推荐 Spotlight Desktop

Ubuntu 26.04 想要更完整的 Windows Spotlight 体验？Spotlight Desktop 支持自动下载、壁纸归档、Metadata 保存和顶部栏信息展示，功能专注、开源可定制，强烈推荐。

2026-10-10 07:30:00 329

原创从零搭建一个 AI Infra 实验室⑭：Kubernetes 如何认识一张 GPU——Extended Resource、NVIDIA Device Plugin 与 nvidia.com/gpu

本文从 Extended Resource 出发，讲清 NVIDIA Device Plugin 如何把物理 GPU 注册为 nvidia.com/gpu，并通过 Scheduler、kubelet 与 containerd 跑通第一个 GPU Pod，理解 Kubernetes 的 GPU 资源调度链路。

2026-10-09 07:30:00 496

原创 PVE 装 Windows XP：用老硬件配置重温经典

在 PVE 上安装 Windows XP，用 SeaBIOS、i440fx、IDE、RTL8139 等“老硬件”提升兼容性，并关闭多余虚拟设备，最终通过 RDP 实现流畅远程访问与音频重定向。

2026-10-07 07:30:00 672

原创从零搭建一个 AI Infra 实验室⑬：Kubernetes 的 Pod 到底是谁启动的——containerd、CRI 与单节点 K8S

本文从 Docker 过渡到 Kubernetes，改用 containerd 作为 CRI Runtime，搭建单节点 K8S，并理清 kubectl、kubelet、CRI、containerd 与 runc 的关系，为下一篇 GPU Device Plugin 做准备。

2026-10-05 07:30:00 679

原创 PVE 装 FreeBSD 15.1：体验 XFCE 桌面

在 PVE 上安装 FreeBSD 15.1 + XFCE，记录系统安装、代理、QEMU Guest Agent、桌面配置及 SCFB/QXL 踩坑。整体轻量、CLI 体验不错，但虚拟桌面和 SPICE 支持明显不如 Linux，最终更适合作为实验环境。

2026-10-03 07:30:00 225

原创从零搭建一个 AI Infra 实验室⑫：Docker 为什么默认看不到 GPU

Docker 为什么默认看不到 GPU？本文从 Linux Device、Container Runtime 讲到 NVIDIA Container Toolkit 与 CDI，并通过 `nvidia-smi` 和 PyTorch 实验，跑通容器访问 GPU 的完整链路。

2026-10-01 07:30:00 616

原创 PVE 上用 SPICE：统一连接 Debian、Arch 和 Windows 11 桌面

实测 PVE 下 Debian 13.7、Arch KDE 与 Windows 11 的 SPICE 配置，涵盖剪贴板、动态分辨率与音频，并对比三套系统的实际表现与适用场景。

2026-09-29 07:30:00 345

原创从零搭建一个 AI Infra 实验室⑪：vLLM 为什么快——KV Cache、PagedAttention 与 Continuous Batching

本文从 KV Cache 出发，拆解 vLLM 的 PagedAttention、Continuous Batching、Prefix Caching 与 Chunked Prefill，并结合 RTX 3060 实测观察 Context、并发和调度参数如何影响 TTFT、TPOT、ITL 与吞吐。

2026-09-27 07:30:00 383

原创 PVE 装 Arch Linux：体验 KDE 桌面

在 PVE 上安装 Arch Linux，并体验 KDE Plasma 桌面。记录 archinstall 关键选项、首次安装 Konsole、系统更新与资源占用，对比 Debian GNOME，感受 Arch 简洁、透明又好玩的 Linux 桌面体验。

2026-09-25 07:30:00 229

原创从零搭建一个 AI Infra 实验室⑩：LLM 性能怎么看——TTFT、TPOT、ITL 和 Throughput

从“跑模型”走向“模型服务器”，理解 Transformers、llama.cpp、Ollama 与 vLLM 的定位差异，并实战启动 vLLM Server，通过 OpenAI Compatible API 用 curl 与 Python 调用本地模型。

2026-09-23 07:30:00 226

原创在PVE上安装Debian 13.7 GNOME桌面

在 PVE 上安装 Debian 13.7 GNOME 桌面，记录 DVD 镜像、虚拟机配置、固定 IP、SSH、APT 源与 Guest Agent，并顺手对比资源占用，体验 Debian 桌面的精简与完整。

2026-09-21 07:30:00 242

原创我把 Windows VM 直通到 T480 内屏，然后为什么放弃了

一次从好奇出发的 PVE 直通实验：UHD 620、T480 内屏、键盘和 USB 都成功交给 Windows VM，但复杂度和维护成本迅速上升。最终我选择回归普通 VM，也更看清了“能做到”和“值得长期用”的区别。

2026-09-19 07:30:00 224

原创从零搭建一个 AI Infra 实验室⑨：从“跑模型”到“模型服务器”——为什么需要 vLLM

从“跑模型”走向“模型服务器”，理解 Transformers、llama.cpp、Ollama 与 vLLM 的定位差异，并实战启动 vLLM Server，通过 OpenAI Compatible API 用 curl 与 Python 调用本地模型。

2026-09-17 07:30:00 167

原创在 PVE 上安装 Windows 11：搭一台测试环境

在 PVE 上安装 Windows 11，搭建一套按需启动的测试环境。本文记录 VirtIO 驱动、TPM、OOBE 本地账户、固定 IP、RDP 与 Snapshot 等关键步骤。

2026-09-16 07:30:00 261

原创从零搭建一个 AI Infra 实验室⑧：Ollama 与 llama.cpp——本地 LLM 推理为什么还有另一条路线

本篇从 Model Runtime 出发，拆解 GGUF、llama.cpp、CPU/GPU Offload 与 Context，并通过 RTX 3060 实测本地 7B 模型推理性能，最后说明 Ollama 的封装价值，并为下一篇 vLLM 高吞吐 Serving 铺路。

2026-09-14 07:30:00 433

原创在 PVE 上安装第一台 Ubuntu Server，顺手把虚拟机网络理顺

本文记录在 PVE 上安装第一台 Ubuntu Server VM 的完整过程，并顺手梳理 DHCP、NAT、固定 IP、静态路由与远程管理方案，为后续 Linux、Windows、BSD 等虚拟机打下统一基础。

2026-09-13 07:30:00 539

原创从零搭建一个 AI Infra 实验室⑦：12GB 显存到底能跑多大模型——模型精度与量化

用 RTX 3060 12GB 实测 7B 模型，串起 FP32、FP16/BF16、INT8、INT4 与 AWQ、GPTQ，理解量化如何改变模型大小与 GPU 显存边界。

2026-09-11 07:30:00 464

原创把闲置 ThinkPad T480 改造成 PVE 虚拟化主机

把闲置 ThinkPad T480 改造成 PVE 虚拟化主机：SSD 与 HDD 分工、Wi-Fi 管理、NAT 网络、软件源及合盖运行一次配置完成，让旧笔记本重新发挥价值。

2026-09-10 07:30:00 273

原创从零搭建一个 AI Infra 实验室⑥：一次 LLM 推理到底发生了什么——从 Prompt 到 Prefill、Decode

从 Prompt 到 Chat Template、Tokenizer、Prefill、KV Cache 与 Decode，拆解一次 LLM 推理的完整流程，并通过短长 Prompt 实验观察 Token 数、显存与生成耗时的变化。

2026-09-08 07:30:00 314

原创从零搭建一个 AI Infra 实验室⑤：从 Infra 角度看懂一个 LLM 到底是什么

从 Infra 视角拆解 LLM 的核心组成，理解参数、权重、Transformer、Tokenizer、Token、Prompt 与 Context，并通过 Transformers 实验观察模型从文件加载到 RAM、再进入 GPU 显存的全过程。

2026-09-06 07:30:00 317

原创从零搭建一个 AI Infra 实验室④：第一次让 PyTorch 跑在 GPU 上

从 Tensor、device 到 CPU→GPU 数据搬运，本篇第一次让 PyTorch 真正跑在 RTX 3060 上，并通过矩阵运算对比观察 GPU 性能、显存占用与利用率，进一步理解 FP32、FP16、BF16 对计算和显存的影响。

2026-09-04 07:30:00 318

原创让老群晖继续发挥余热：搭建一个简单、够用的 Git Server

老群晖性能有限，也能继续发挥余热。本文以 DS216play 为例，用 Git Server + SSH 搭建轻量私有代码仓库，并配置 SSH Key 实现免密 Push/Pull。

2026-09-03 07:30:00 260

原创从零搭建一个 AI Infra 实验室③：CUDA 到底是什么——拆开 NVIDIA 的软件栈

本文从 AI Infra 视角拆解 NVIDIA CUDA 软件栈，讲清 Driver、Driver API、Runtime、Toolkit、cuDNN、NCCL 的关系与版本兼容机制，并通过 nvidia-smi、nvcc 和 CUDA 小程序完成环境安装与验证。

2026-09-02 07:30:00 420

原创 Ubuntu 下载大文件太慢怎么办？我折腾了一圈下载工具，最后还是用回了迅雷

Ubuntu 下载大文件太慢怎么办？本文从浏览器、wget、aria2、BT 一路折腾到迅雷，分析不同下载方式的原理与适用场景，并解释迅雷为何有时能通过多来源调度显著提速。

2026-09-01 07:30:00 254

原创从零搭建一个 AI Infra 实验室②：认识 GPU——为什么 AI 时代算力从 CPU 走向 GPU

从 CPU 到 GPU，本文带你认识 AI 计算的硬件基础：理解 SM、CUDA Core、Tensor Core、VRAM、PCIe 与 Compute Capability，并通过 lspci、nvidia-smi 实测读懂自己的 GPU。

2026-08-31 07:30:00 327

原创操作系统那些事儿⑫：操作系统大结局：今天的世界

从 Unix 到 Linux、Windows、macOS、Android，再到云计算、容器、WASM 与 AI Agent。五十多年过去，没有谁真正统一世界，不同操作系统各自赢下不同战场，而故事仍在继续。

2026-08-30 07:30:00 232

原创从零搭建一个 AI Infra 实验室①：AI Infra 到底是什么——我们准备搭一个怎样的实验室

从传统 Cloud Infra 出发，重新认识 AI Infra：训练与推理有何区别，GPU、CUDA、模型、推理引擎和 Serving 如何分层，并介绍一套基于 Ubuntu 24.04 + RTX 3060 的家用 AI Infra 实验室。

2026-08-29 07:30:00 182

空空如也

空空如也