三点水-here-优快云博客

原创从 Miniconda 迁移到 Miniforge3 全记录：安装、配置、环境迁移与排错实录

本文记录从 Miniconda 迁移至 Miniforge3 的完整过程，涵盖安装、权限配置、频道设置与合并规则排查。重点解决 defaults 频道合规问题，通过系统级 .condarc 统一配置，确保仅使用 conda-forge 频道，避免授权风险。详细说明批处理安装、多用户权限管理、配置优先级与合并逻辑，并提供验证脚本确保迁移稳定可靠，适用于共享服务器环境。

2026-09-29 14:41:32 252

原创别只改 daemon.json 了！Docker 29.x 镜像路径迁移的正确姿势

<think>我们只需要生成一个摘要，不超过150字。内容围绕Docker 29.x镜像路径迁移，要点：daemon.json的data-root不再控制镜像层，需同时改containerd的config.toml。提供双管齐下方案。总结。注意简洁。</think>Docker 29.x 默认启用 containerd image store，镜像数据存于 /var/lib/containerd，仅改 data-root 无效。需同时修改 /etc/containerd/config.toml 的 root

2026-09-08 20:40:07 126

原创企业级存储架构指南：如何科学选择合适的 RAID 级别？

企业级存储架构中，RAID级别的选择关乎性能、容量与数据安全的平衡。本文提出三步选型法：首先根据业务场景（如系统盘选RAID 1、高并发数据库选RAID 10）确定基础级别；其次结合硬盘类型评估重建风险（大容量HDD必须采用RAID 6）；最后检查物理资源与热备配置。通过电商订单库、医疗影像系统等真实案例，揭示RAID 5在大容量场景下的重建风险，强调RAID 6和热备盘对关键数据的重要性。决策速查表与风险对比图可快速指导实践，避免因选型不当导致数据灾难。

2026-06-22 18:31:32 413

原创 06 - 大模型推理故障排查与性能调优：从理论到落地

本文是《大模型推理框架深度解析》系列的完结篇，提供了完整的生产部署检查清单、故障演练方案和性能调优技巧。主要内容包括：生产部署Checklist 模型准备（完整性校验、量化方案、备用模型等）资源配置（GPU节点、显存配额、网络策略等）服务配置（健康检查、监控埋点、日志聚合等）高可用设计（多副本、故障转移、降级链路等）故障演练方案 GPU OOM场景验证（高并发负载测试、HPA扩容等）模型文件损坏恢复（自动加载备用模型）网络分区场景（分布式TP通信故障处理）节点故障恢复（Pod重新调度）性能

2026-02-14 14:53:10 707

原创 05 - 大模型推理生产架构设计：混合部署与Kubernetes实战

本文探讨了大模型推理服务的生产级架构设计，重点介绍了"vLLM主链路+llama.cpp降级链路"的混合部署方案。该架构通过GPU集群提供高性能推理(vLLM)和CPU边缘节点作为降级保障(llama.cpp)，解决了单一架构的可靠性问题。文章详细阐述了智能路由网关设计，包括健康评分算法和渐进切流策略，并提供了Kubernetes部署配置示例。这种混合架构能有效应对GPU故障、CUDA OOM等问题，确保服务在99.9%的SLA下稳定运行，同时支持零停机模型更新。

2026-02-14 14:51:20 404

原创 04 - 分布式大模型推理实战：TP/PP/EP并行策略深度解析

分布式大模型推理并行策略解析本文深入探讨了大模型分布式推理的三种核心并行策略：张量并行(TP)、流水线并行(PP)和专家并行(EP)。当模型规模超过单卡容量时，这些策略可突破显存限制，提高计算吞吐量。关键点： TP通过分割单层计算到多GPU，适合单节点高带宽环境 PP按层分割模型到多个节点，适合跨节点部署 EP专为MoE模型设计，将专家分配到不同GPU 实际部署常需混合策略组合（如TP+PP）不同策略对网络带宽和延迟有不同要求典型应用场景包括70B+稠密模型和MoE专家模型，需根据硬件配置选择合适的

2026-02-14 14:49:26 1526

原创 03 - KV Cache与批处理：大模型推理的内存管理核心技术

摘要：大模型推理中的KV Cache与批处理优化技术本文深入分析了大模型推理中的两项核心技术：KV Cache管理和批处理策略。KV Cache通过缓存中间计算结果显著提升推理效率，但传统环形缓冲区方案存在内存浪费和无法动态扩展的问题。vLLM提出的PagedAttention借鉴操作系统分页思想，将KV Cache划分为可动态分配的Block，支持Copy-on-Write前缀共享，使内存利用率提升至95%以上。在批处理方面，连续批处理技术通过Token级调度实现GPU持续满载，相比静态批处理可将GPU

2026-02-13 18:13:30 977

原创基于 Prometheus 生态的 Kubernetes 全栈监控实战指南

本文介绍了基于Prometheus生态的Kubernetes全栈监控解决方案。针对传统监控工具在容器环境中的局限性，该方案利用Prometheus的多维数据模型、服务发现和强大查询语言等优势，构建了完整的监控体系。系统架构包含Prometheus(时序数据库)、Grafana(可视化)、Alertmanager(告警管理)三大核心组件，以及Node Exporter、Kube State Metrics、cAdvisor等数据采集器。文章详细阐述了各组件的功能、部署方式和资源配置要求，并提供了快速部署脚本和

2026-02-13 18:05:07 1056

原创 02 - 大模型量化技术深度解析：GGUF、AWQ与GPTQ的选型与实战

本文深度解析大模型量化技术，对比GGUF、AWQ和GPTQ三种主流方法的原理与性能。GGUF采用K-quantiles分组量化，适合跨平台部署；GPTQ基于Hessian矩阵进行误差补偿，推理速度最快；AWQ通过激活感知保护关键权重通道，精度损失最小。基准测试显示，70B模型量化后显存需求可从140GB降至35GB左右，其中AWQ在文本/代码生成任务中表现最优，GPTQ则适合高吞吐场景。文章提供选型流程图和场景化推荐，并指出GGUF是CPU推理的唯一选择，AWQ/GPTQ更适合GPU服务器部署。量化技术可显

2026-02-05 21:07:01 1152

原创 01 - 大模型推理框架选型入门：Ollama、llama.cpp与vLLM全景对比

本文对比了三大主流大模型推理框架：Ollama、llama.cpp和vLLM。Ollama定位为开发者友好的模型管理工具，llama.cpp是轻量级跨平台推理引擎，vLLM则专注高吞吐生产部署。文章通过架构分层视角，分析了各框架的技术定位、适用场景和性能特点，提供了清晰的选型指南和快速上手示例，并澄清了常见误区。最后预告了后续将深入探讨的量化、批处理、分布式推理等技术细节。

2026-02-03 19:25:33 1834

原创 05-多服务器架构与最佳实践

本文探讨了多服务器架构设计与实现，重点介绍了生产级MCP应用的最佳实践。多服务器架构通过功能分离、团队协作和负载均衡等优势，解决了单一服务器的局限性。文章详细分析了三种架构模式（网关模式、总线模式和直接连接模式），并提供了MultiServerMCPClient的实现示例，包括基础配置、会话管理和完整代码实现。此外，还介绍了状态定义、图创建和消息过滤等关键技术点，为构建复杂的多服务器MCP系统提供了实用指导。

2026-01-29 20:05:11 789

原创 04-LLM与MCP集成实践

本文介绍了如何将MCP工具集成到大语言模型(LLM)中，使用LangGraph构建智能代理应用。主要内容包括： LangGraph的核心概念：状态、节点、边和图，用于管理对话历史和工具调用项目准备工作：安装依赖和配置环境基础集成架构：展示数据流和组件交互具体实现方案：状态定义和LLM配置会话初始化流程 Chat Node实现消息过滤机制该方案实现了自动化工具调用和状态管理，支持复杂的多步骤任务处理。

2026-01-29 19:18:17 562

原创 03-MCP客户端开发实战

本文详细介绍了MCP客户端开发实战，涵盖Stdio和HTTP两种传输模式的实现。主要内容包括： MCP客户端架构设计，包含传输层、会话层、API层和错误处理等核心组件 Stdio模式客户端的完整实现，包括服务器参数配置、会话初始化和工具调用示例演示了数学计算工具的调用流程，如加法、减法、乘法等基础运算展示了资源列表获取和读取功能文章提供了完整的代码示例，帮助开发者快速构建MCP客户端，实现与MCP服务器的高效交互。

2026-01-25 12:09:41 968

原创 02-快速构建MCP服务器

本文介绍了如何使用FastMCP框架快速构建MCP服务器。FastMCP是一个Python框架，通过装饰器语法(@mcp.tool()、@mcp.resource()、@mcp.prompt())简化组件定义，支持自动类型推断和多传输协议。文章详细展示了构建数学计算服务器和BMI计算服务器的完整流程，包括定义提示模板(系统提示、问题提示、计算指导)、资源(数学常量、动态问候、配置信息)和工具(基础运算函数)的实现方法，并提供了项目结构和配置示例。

2026-01-25 12:07:46 1218

原创 01-MCP协议入门指南

MCP协议是大语言模型与外部工具间的标准化通信协议，由Anthropic推出，具有语言无关、传输灵活等优势。协议包含四个核心组件：提示模板（Prompts）定义AI行为准则、资源（Resources）提供数据访问、工具（Tools）执行特定任务、传输层（Transport）处理通信。MCP采用JSON-RPC格式进行消息交换，支持stdio和HTTP两种传输方式。通过实战案例展示了如何构建数学计算服务器，实现工具调用和资源访问。MCP适用于数据分析、开发辅助、运维自动化等多种场景，其开源生态包括FastMC

2026-01-21 19:38:10 1181

原创在 Kubernetes 中实现 NFS 动态存储供应：生产级实践指南

本文详细介绍了在Kubernetes集群中实现NFS动态存储供应的生产级实践方案。主要内容包括：NFS服务器的部署配置，重点讲解了共享目录设置和安全策略；Kubernetes动态存储供应原理，解释了nfs-subdir-external-provisioner组件的工作机制；提供了完整的生产级YAML模板，涵盖RBAC权限配置和Provisioner控制器部署。该方案解决了原生Kubernetes不支持NFS动态供应的问题，使管理员无需手动创建PV，实现了存储资源的按需分配。

2026-01-20 07:00:00 1394

原创可运维性分阶段建设实践：从目标设定到AI驱动的SRE转型思考

本文系统阐述了可运维性建设的分阶段实践路径与AI驱动的SRE转型策略。首先提出明确的三维目标体系（功能覆盖率80%-95%、系统可用性99.9%-99.99%、SRE研发精力优化分配），并建立量化指标体系。重点规划了SRE团队的年度研发目标和AI转型四阶段路线图（数据驱动→规则增强→自主学习→认知智能），详细介绍了各阶段技术重点与预期收益。通过分析全球领先企业的AIOps实践案例，展示了AI技术在异常检测、根因分析、容量预测等场景的应用价值，为传统运维向智能化转型提供了可落地的实施框架。

2026-01-19 12:36:02 841

原创高效 GPU 加速：DeepSeek-R1 系列模型在 llama.cpp 上的生产级部署指南

摘要：本文详细介绍了如何在生产环境中通过 llama.cpp 高效部署 DeepSeek-R1-0528-Qwen3-8B 模型，充分利用 RTX 30/40 系列显卡的 GPU 加速能力。关键内容包括：硬件与驱动要求：推荐使用 RTX 3060（12GB）及以上显卡，并确保 NVIDIA 驱动版本 ≥525.85（支持 CUDA 12.1）。镜像选择：优先使用 ghcr.io/ggml-org/llama.cpp:server-cuda12-b7751，兼容性强且稳定。模型下载与量化：建议从 Hu

2026-01-16 20:25:39 992 2

原创资源有限，跑大模型太难？手把手教你用 llama.cpp 安全部署任意 GGUF 模型（含 DeepSeek-R1 实战）

本文介绍了一套基于llama.cpp的本地大模型安全部署方案，主要特点包括：无需高端硬件 - 可在普通服务器或笔记本上运行，支持CPU/GPU混合推理数据安全 - 完全离线运行，满足金融、医疗等行业的合规要求灵活部署 - 提供Docker Compose方案，支持固定版本镜像和密钥隔离多模型兼容 - 可快速切换Llama、Qwen、DeepSeek等主流模型生产级加固 - 包含容器权限控制、防提权攻击等安全措施文章以DeepSeek-R1模型为例，详细演示了从模型下载到API部署的全流程，并提供

2026-01-14 18:09:55 1460

原创离线部署 KubeSphere v4.1.2 + Kubernetes v1.30.6 生产级指南

离线部署 KubeSphere 4.1.2 + Kubernetes 1.30.6 生产环境指南本指南详细介绍了在完全离线环境中部署高可用KubeSphere容器平台的全流程。主要内容包括：环境规划：采用3控制面+3etcd+多工作节点架构，所有节点运行Ubuntu 22.04 LTS，使用私有镜像仓库和自签证书。离线准备：下载系统依赖ISO 安装KubeKey工具生成制品清单(Manifest) 导出离线包配置模板：提供可直接使用的生产级config-sample.yaml配置文件，包含网络规

2025-12-25 14:43:46 902

原创 PostgreSQL 16 本地开发环境极速搭建

本文介绍了一套快速搭建PostgreSQL 16本地开发环境的Docker Compose方案，包含自动初始化、数据持久化和完整CRUD操作支持。通过标准docker-compose.yaml配置和带详细注释的初始化脚本，可在30秒内启动包含10条示例数据的数据库环境。方案支持一键重置、表结构查看、唯一约束处理等功能，适用于Linux/macOS/Windows平台。文章还提供了常用数据库操作指南，包括切换数据库、查看表结构、增删改查及唯一键冲突处理等实用技巧，帮助开发者快速搭建高效可靠的本地开发环境。

2025-12-25 14:43:24 1039

qq_40181321的博客