AI Infra实验室
关注
分享
扫一扫
文章平均质量分 84
明王明王
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
从零搭建一个 AI Infra 实验室㉑：llm-d——从单个 vLLM 走向分布式推理
本篇深入 llm-d 分布式推理架构，解析负载感知路由、前缀缓存感知、KV Cache 本地性与 Prefill/Decode 分离。基于单节点 Kubernetes 和 LLM Simulator，实测智能路由与多 Pod 请求分布，理解从单个 vLLM 走向分布式推理的关键设计与挑战。原创 2026-11-06 07:30:00 · 284 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑳：AI Gateway——LLM 流量为什么不能只做普通负载均衡
普通负载均衡为什么难以应对 LLM 流量？本文介绍 Gateway API、InferencePool、Endpoint Picker 及智能路由原理，并通过 Qwen、DeepSeek 模拟服务，实践 Model-aware Routing、Token-aware 调度与 Rate Limit，探索 AI 推理流量管理。原创 2026-11-03 07:30:00 · 215 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑲：模型服务怎么扩容——Autoscaling、Cold Start 与 Model Cache
本篇围绕 LLM 模型服务的自动扩缩容、冷启动与模型缓存展开，通过 KServe、HPA 和 vLLM 实验，验证单 GPU 环境下的扩容限制，分析模型启动耗时及 Model Cache 的优化价值，理解模型弹性扩容的关键挑战。原创 2026-10-30 07:30:00 · 307 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑱：KServe——为什么 Deployment + Service 还不够
本篇聚焦 Kubernetes 模型服务管理，介绍 KServe 的 InferenceService、ServingRuntime 与模型服务生命周期，并通过 RTX 3060 实战部署 vLLM，验证模型自动下载、GPU 调度、服务就绪及 OpenAI 兼容 API 调用，探索 KServe 相比传统 Deployment + Service 的优势。原创 2026-10-26 07:30:00 · 290 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑰：把 vLLM 正式跑进 Kubernetes
本篇将 vLLM 正式部署到 Kubernetes，结合 RTX 3060 实验，实践 Deployment、Service、GPU 资源分配、模型下载与 PVC 持久化缓存，打通 OpenAI 兼容 API，并通过实际数据分析模型加载、引擎初始化及 Pod 启动耗时。原创 2026-10-22 07:30:00 · 264 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑯：一张 GPU 怎么给多个 Pod 用
一张 GPU 如何同时服务多个 Pod？本文从 Exclusive GPU、Time-Slicing、MPS、MIG 到 Device Plugin、DRA，结合 RTX 3060 实测 Kubernetes GPU 共享与多 Pod 并发。原创 2026-10-18 07:30:00 · 504 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑮：GPU Operator——AI 集群为什么不能靠手工装驱动
本文介绍 NVIDIA GPU Operator 如何将 Driver、Container Toolkit、Device Plugin、GFD 与 DCGM 纳入 Kubernetes 统一管理，并通过 Helm 实验观察 GPU 资源、节点标签与监控指标，理解 AI 集群为何不能长期依赖手工维护。原创 2026-10-14 07:30:00 · 632 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑭：Kubernetes 如何认识一张 GPU——Extended Resource、NVIDIA Device Plugin 与 nvidia.com/gpu
本文从 Extended Resource 出发，讲清 NVIDIA Device Plugin 如何把物理 GPU 注册为 nvidia.com/gpu，并通过 Scheduler、kubelet 与 containerd 跑通第一个 GPU Pod，理解 Kubernetes 的 GPU 资源调度链路。原创 2026-10-09 07:30:00 · 498 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑬：Kubernetes 的 Pod 到底是谁启动的——containerd、CRI 与单节点 K8S
本文从 Docker 过渡到 Kubernetes，改用 containerd 作为 CRI Runtime，搭建单节点 K8S，并理清 kubectl、kubelet、CRI、containerd 与 runc 的关系，为下一篇 GPU Device Plugin 做准备。原创 2026-10-05 07:30:00 · 679 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑫：Docker 为什么默认看不到 GPU
Docker 为什么默认看不到 GPU？本文从 Linux Device、Container Runtime 讲到 NVIDIA Container Toolkit 与 CDI，并通过 `nvidia-smi` 和 PyTorch 实验，跑通容器访问 GPU 的完整链路。原创 2026-10-01 07:30:00 · 616 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑪：vLLM 为什么快——KV Cache、PagedAttention 与 Continuous Batching
本文从 KV Cache 出发，拆解 vLLM 的 PagedAttention、Continuous Batching、Prefix Caching 与 Chunked Prefill，并结合 RTX 3060 实测观察 Context、并发和调度参数如何影响 TTFT、TPOT、ITL 与吞吐。原创 2026-09-27 07:30:00 · 384 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑩：LLM 性能怎么看——TTFT、TPOT、ITL 和 Throughput
从“跑模型”走向“模型服务器”，理解 Transformers、llama.cpp、Ollama 与 vLLM 的定位差异，并实战启动 vLLM Server，通过 OpenAI Compatible API 用 curl 与 Python 调用本地模型。原创 2026-09-23 07:30:00 · 226 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑨：从“跑模型”到“模型服务器”——为什么需要 vLLM
从“跑模型”走向“模型服务器”，理解 Transformers、llama.cpp、Ollama 与 vLLM 的定位差异，并实战启动 vLLM Server，通过 OpenAI Compatible API 用 curl 与 Python 调用本地模型。原创 2026-09-17 07:30:00 · 167 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑧：Ollama 与 llama.cpp——本地 LLM 推理为什么还有另一条路线
本篇从 Model Runtime 出发，拆解 GGUF、llama.cpp、CPU/GPU Offload 与 Context，并通过 RTX 3060 实测本地 7B 模型推理性能，最后说明 Ollama 的封装价值，并为下一篇 vLLM 高吞吐 Serving 铺路。原创 2026-09-14 07:30:00 · 433 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑦：12GB 显存到底能跑多大模型——模型精度与量化
用 RTX 3060 12GB 实测 7B 模型，串起 FP32、FP16/BF16、INT8、INT4 与 AWQ、GPTQ，理解量化如何改变模型大小与 GPU 显存边界。原创 2026-09-11 07:30:00 · 464 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑥：一次 LLM 推理到底发生了什么——从 Prompt 到 Prefill、Decode
从 Prompt 到 Chat Template、Tokenizer、Prefill、KV Cache 与 Decode，拆解一次 LLM 推理的完整流程，并通过短长 Prompt 实验观察 Token 数、显存与生成耗时的变化。原创 2026-09-08 07:30:00 · 315 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室⑤：从 Infra 角度看懂一个 LLM 到底是什么
从 Infra 视角拆解 LLM 的核心组成，理解参数、权重、Transformer、Tokenizer、Token、Prompt 与 Context，并通过 Transformers 实验观察模型从文件加载到 RAM、再进入 GPU 显存的全过程。原创 2026-09-06 07:30:00 · 317 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室④：第一次让 PyTorch 跑在 GPU 上
从 Tensor、device 到 CPU→GPU 数据搬运，本篇第一次让 PyTorch 真正跑在 RTX 3060 上，并通过矩阵运算对比观察 GPU 性能、显存占用与利用率，进一步理解 FP32、FP16、BF16 对计算和显存的影响。原创 2026-09-04 07:30:00 · 319 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室③：CUDA 到底是什么——拆开 NVIDIA 的软件栈
本文从 AI Infra 视角拆解 NVIDIA CUDA 软件栈，讲清 Driver、Driver API、Runtime、Toolkit、cuDNN、NCCL 的关系与版本兼容机制，并通过 nvidia-smi、nvcc 和 CUDA 小程序完成环境安装与验证。原创 2026-09-02 07:30:00 · 420 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室②：认识 GPU——为什么 AI 时代算力从 CPU 走向 GPU
从 CPU 到 GPU，本文带你认识 AI 计算的硬件基础：理解 SM、CUDA Core、Tensor Core、VRAM、PCIe 与 Compute Capability，并通过 lspci、nvidia-smi 实测读懂自己的 GPU。原创 2026-08-31 07:30:00 · 327 阅读 · 0 评论 -
从零搭建一个 AI Infra 实验室①：AI Infra 到底是什么——我们准备搭一个怎样的实验室
从传统 Cloud Infra 出发，重新认识 AI Infra：训练与推理有何区别，GPU、CUDA、模型、推理引擎和 Serving 如何分层，并介绍一套基于 Ubuntu 24.04 + RTX 3060 的家用 AI Infra 实验室。原创 2026-08-29 07:30:00 · 182 阅读 · 0 评论