<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[一名热爱技术、专注实践的工程师，拥有一项实用新型专利及一项软件著作权。曾获国家级奖项7项、省级奖项30余项。专注网络技术与 AI Infra 领域，持续探索技术创新与工程实践，记录学习成长，分享技术经验，在探索中突破，在实践中精进。]]></title><description><![CDATA[专注网络技术与 AI Infra 领域，持续探索技术的深度与广度。学习 HCIE 网络技术、数据中心架构、GPU 基础设施及大模型相关知识。坚持理论与实践相结合，记录学习历程，分享技术心得，在不断学习与实践中积累经验，保持热爱，持续精进。]]></description><link>https://blog.youkuaiyun.com/2201_75791683</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; 2201_75791683]]></copyright><item><title><![CDATA[GPU 之间如何高效搬运数据？深入理解 NCCL 与六大集合通信原语]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170503700</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170503700</guid><author>2201_75791683</author><pubDate>Wed, 11 Nov 2026 11:06:07 +0800</pubDate><description><![CDATA[多GPU训练依赖NCCL实现高效通信。它作为NVIDIA提供的集合通信库，负责执行AllReduce、Broadcast等六种核心操作，支撑数据并行、ZeRO、张量并行等技术的协同。通过RingAllReduce算法，可在多卡间低延迟完成梯度同步，每卡通信量趋近于原始数据的2倍。尽管显存优化如ZeRO-3提升内存效率，但需额外通信开销；跨机训练则采用分层AllReduce，先机内归约再跨机交换，显著降低慢速网络负载。NCCL连接框架与硬件，是分布式训练中计算与通信协同的关键基础设施。]]></description><category></category></item><item><title><![CDATA[DeepSpeed + Megatron-LM：大模型分布式训练的协同架构]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170500961</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170500961</guid><author>2201_75791683</author><pubDate>Wed, 11 Nov 2026 10:53:11 +0800</pubDate><description><![CDATA[本文围绕 DeepSpeed 与 Megatron-LM 两大分布式训练框架，深入解析其核心技术、功能分工及协同机制。重点介绍 DeepSpeed ZeRO 的三阶段显存优化原理，以及 Megatron-LM 的张量并行、流水线并行和数据并行策略。通过 8B、70B、405B 三种模型规模的显存计算，分析不同并行策略下的显存分配与优化效果，并结合实际工程场景，探讨融合算子、激活重算、并行参数配置及模型权重转换等关键问题，帮助理解大模型分布式训练的整体架构与工程实践。]]></description><category></category></item><item><title><![CDATA[深入理解 3D 并行——TP、PP、DP 如何协同，让上千张 GPU 高效训练大模型？]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170499719</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170499719</guid><author>2201_75791683</author><pubDate>Wed, 11 Nov 2026 10:32:00 +0800</pubDate><description><![CDATA[为应对大模型训练中显存不足与通信瓶颈，3D并行将张量并行（TP）、流水线并行（PP）和数据并行（DP）结合，从计算、模型层与副本三个维度协同分配GPU资源。其核心是：TP解决单层计算过载，PP突破单机容量限制，DP提升数据吞吐。实际部署需匹配硬件拓扑——TP限于单机内高速互联（如NVLink），PP跨服务器利用低频通信，DP通过ZeRO进一步降低冗余存储。配置关键在于满足显存约束（TP×PP ≥ 16Ψ/卡显存），平衡流水线气泡与全局批次，并预留运行开销。最终目标是在显存、通信、效率与收敛间实现最优协同。]]></description><category></category></item><item><title><![CDATA[流水线并行（PP）——把模型按层切开，串成一条高效的计算流水线]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170420910</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170420910</guid><author>2201_75791683</author><pubDate>Tue, 10 Nov 2026 11:24:09 +0800</pubDate><description><![CDATA[流水线并行（PP）通过将大模型按层切分至多张GPU，解决单卡显存不足问题。其核心是“模型分段、计算分工、激活传递”，实现跨设备训练。虽引入流水线气泡影响效率，但结合Micro-batch与1F1B调度可有效缓解。相比数据并行、张量并行，PP通信稀疏，适合跨节点扩展，常与TP、DP组合形成3D并行架构，是大规模模型分布式训练的关键技术。]]></description><category></category></item><item><title><![CDATA[张量并行（TP）深度解析——如何将一次矩阵运算拆分到多张 GPU 上？]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170419549</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170419549</guid><author>2201_75791683</author><pubDate>Tue, 10 Nov 2026 10:59:42 +0800</pubDate><description><![CDATA[张量并行（TP）通过切分模型权重矩阵，让多张GPU协同完成单次矩阵运算，解决大模型显存与计算瓶颈。与数据并行（DDP）和ZeRO/FSDP不同，TP直接拆分计算过程，核心为列并行（按列切分权重，前向无需通信）与行并行（按行切分，需AllReduce合并结果）。二者结合可减少冗余通信，提升效率。在训练中，每层需4次集合通信，总通信量随Token数线性增长；在推理中，TP可突破单卡显存限制，提升带宽利用率，但通信延迟影响显著。]]></description><category></category></item><item><title><![CDATA[ZeRO 深度解析——从 128GB 到 16GB，如何打破大模型训练的显存墙？]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170373046</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170373046</guid><author>2201_75791683</author><pubDate>Tue, 10 Nov 2026 00:01:15 +0800</pubDate><description><![CDATA[本文系统解析了ZeRO（ZeroRedundancyOptimizer）在大模型分布式训练中的核心作用。针对DDP显存冗余问题，ZeRO通过分片存储模型参数、梯度与优化器状态，实现显存压缩。其三个阶段（ZeRO-1/2/3）逐级切分训练状态，显著降低单卡显存占用，尤其ZeRO-3可将8B模型显存需求从128GB降至16GB。关键在于利用AllGather与Reduce-Scatter等通信操作动态聚合参数，以通信换显存。然而，过度切分会增加通信开销，且无法解决激活值显存瓶颈。]]></description><category></category></item><item><title><![CDATA[从单卡瓶颈到多卡协同，揭开大模型分布式训练的底层逻辑]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170295960</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170295960</guid><author>2201_75791683</author><pubDate>Mon, 09 Nov 2026 07:20:10 +0800</pubDate><description><![CDATA[本文系统剖析了大模型训练中从单卡到多卡分布式训练的核心挑战。指出单卡训练面临“显存墙”与“算力墙”双重瓶颈：8B模型全参数微调需约128GB显存，超出现有H100 80GB容量；即使显存充足，单卡算力也需约14天完成训练。解决方案分两路：数据并行（如DDP）提升计算吞吐，模型并行（如TP、PP、ZeRO、FSDP）降低单卡显存压力。实际训练中，通信开销（如环形AllReduce）成为关键瓶颈，尤其跨机通信受限于网络带宽。]]></description><category></category></item><item><title><![CDATA[深入理解 DDP——多卡训练如何通过梯度同步实现高效并行？]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170296485</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170296485</guid><author>2201_75791683</author><pubDate>Mon, 09 Nov 2026 07:19:51 +0800</pubDate><description><![CDATA[DDP通过复制模型、切分数据并同步梯度，实现多卡高效并行训练。其核心在于仅同步梯度，利用AllReduce保证参数一致，避免冗余通信。虽提升计算吞吐量，但无法解决单卡显存瓶颈。结合LoRA可大幅降低显存与通信开销。通过梯度桶实现通信与计算重叠，优化资源利用率。理解其机制与边界，是掌握分布式训练的关键。]]></description><category></category></item><item><title><![CDATA[深入理解 WLAN 无线局域网原理、CAPWAP 协议与配置实现]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170247858</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170247858</guid><author>2201_75791683</author><pubDate>Sun, 08 Nov 2026 15:38:12 +0800</pubDate><description><![CDATA[本文系统阐述了企业WLAN技术的核心原理与工程实践，涵盖IEEE802.11标准、频段信道规划、AC+FITAP架构、CAPWAP协议及STA接入流程。重点解析了SSID、BSSID、VAP等核心概念，对比了直接转发与隧道转发模式的适用场景，并通过eNSP实验展示了模板化配置与故障排查方法。强调管理与业务VLAN分离、合理信道规划及端到端数据流思维在实际部署中的重要性，为构建安全、高效的企业无线网络提供了完整的技术框架。]]></description><category></category></item><item><title><![CDATA[PPP协议原理、状态机、协商机制与认证技术]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170248032</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170248032</guid><author>2201_75791683</author><pubDate>Sun, 08 Nov 2026 15:37:38 +0800</pubDate><description><![CDATA[本文深入解析 HCIE 中 PPP（点到点协议）的工作原理与配置，围绕 PPP 帧封装、LCP 双向协商机制、协议状态机、PAP/CHAP 身份认证及 NCP 网络层协议协商展开。结合华为 eNSP 实验拓扑，分析 PPP 五个工作阶段、IPCP 协商过程及常见故障定位方法，并进一步探讨 CHAP 安全机制、Magic-Number 和 PPPoE 等进阶知识，帮助理解 PPP]]></description><category></category></item><item><title><![CDATA[ACL 访问控制列表原理、匹配机制与配置实践]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170197518</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170197518</guid><author>2201_75791683</author><pubDate>Sat, 07 Nov 2026 10:34:18 +0800</pubDate><description><![CDATA[今日学习HCIE网络技术中的ACL（访问控制列表），深入理解其在企业网络中实现精细化访问控制的核心作用。重点掌握ACL的定义、分类（基本、高级、二层、用户ACL）、匹配机制（规则顺序、通配符掩码）、部署位置与方向选择，并通过eNSP实验实现VLAN间访问控制。学习强调：ACL基于规则匹配，解决“可通但不可访”问题；需结合数据流向合理部署；高级ACL支持多字段匹配，适用于复杂业务场景；其与路由、防火墙功能互补，是构建安全可控网络的关键基础。]]></description><category></category></item><item><title><![CDATA[NAT 网络地址转换技术原理与配置实战]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170198095</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170198095</guid><author>2201_75791683</author><pubDate>Sat, 07 Nov 2026 10:33:53 +0800</pubDate><description><![CDATA[今日学习了HCIE数通中的NAT技术，系统掌握了其背景、原理与应用。NAT通过地址转换缓解IPv4地址短缺问题，实现私网与公网通信。重点理解静态NAT、动态NAT、NAPT、EasyIP及NATServer的工作机制，掌握报文转换、会话表维护、反向流量匹配等核心过程。结合eNSP实验，深入分析了NAT与路由、ACL、防火墙的协同关系，强化了故障排查思路。学习强调：掌握NAT不仅是配置命令，更要从报文转发角度理解网络行为，为后续工程实践打下坚实基础。]]></description><category></category></item><item><title><![CDATA[深入理解 Leaf-Spine：从网络拓扑到 AI 数据中心 Fabric]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170050121</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170050121</guid><author>2201_75791683</author><pubDate>Fri, 06 Nov 2026 11:32:38 +0800</pubDate><description><![CDATA[传统数据中心网络以树形三层架构为主，但随着东西向流量激增，其层级多、路径长、扩展难等问题凸显。为此，Leaf-Spine叶脊架构应运而生，通过全互联的扁平化设计，实现多路径转发、高带宽、低时延与灵活横向扩展。结合ECMP负载分担、Underlay/Overlay分离架构及VXLAN/EVPN技术，该架构有效支撑云计算、AI训练等高密度内部通信需求。其核心价值在于：网络设计需匹配业务流量模型，强调可预测性、可靠性与可扩展性。未来，叶脊架构将持续演进，成为高性能数据中心的基石。]]></description><category></category></item><item><title><![CDATA[模型蒸馏、训练与推理、CANN 架构及 NVIDIA GPU 集群设计]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170189914</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170189914</guid><author>2201_75791683</author><pubDate>Fri, 06 Nov 2026 11:32:22 +0800</pubDate><description><![CDATA[本文围绕 AI Infra 核心技术展开，系统整理了知识蒸馏的原理、模型训练与推理的区别、华为昇腾 CANN 软件架构、主流 AI 算力生态，以及 NVIDIA GPU 服务器架构和集群组网技术。从模型优化到分布式 GPU 集群，梳理 AI 模型、软件栈、计算硬件与高速网络之间的协同关系。]]></description><category></category></item><item><title><![CDATA[深入理解 DCGM，如何从 GPU 监控走向性能分析与故障定位？]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170049595</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170049595</guid><author>2201_75791683</author><pubDate>Thu, 05 Nov 2026 09:43:03 +0800</pubDate><description><![CDATA[GPU利用率96%却功耗仅320W，表明高利用率不等于高效计算。实际性能受限于小规模Kernel、数据搬运瓶颈或通信延迟。通过DCGM结合Prometheus与Grafana，可构建多维度监控体系，利用PROF指标分析SM活跃度、TensorCore使用率及显存访问情况，定位真实性能瓶颈。真正关键的是训练吞吐量与任务进度，而非单一指标。运维应聚焦端到端可观测性，关联GPU、CPU、存储与网络，实现从监控到根因分析的闭环。]]></description><category></category></item><item><title><![CDATA[Token、模型参数量与模型量化技术详解]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/170049261</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/170049261</guid><author>2201_75791683</author><pubDate>Thu, 05 Nov 2026 09:42:29 +0800</pubDate><description><![CDATA[本文从大模型基础知识出发，介绍 Token 的定义与作用、模型参数量的构成及其意义，以及 FP32、FP16、BF16、FP8、INT8、INT4 等常见精度类型。通过参数量与显存占用的计算示例，进一步理解模型量化的基本原理、PTQ 与 QAT 的区别，以及这些技术对大模型部署和 AI Infra 基础设施的影响。]]></description><category></category></item><item><title><![CDATA[链路聚合原理与配置详解]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/169949226</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/169949226</guid><author>2201_75791683</author><pubDate>Wed, 04 Nov 2026 00:47:19 +0800</pubDate><description><![CDATA[链路聚合（Link Aggregation）将多条物理链路捆绑为一条逻辑链路（Eth-Trunk），实现带宽扩容、链路冗余和负载分担。华为设备中支持手工负载分担与LACP模式，后者通过LACPDU报文自动协商成员关系，提升管理效率。关键参数包括最大活动接口数量，用于控制同时转发的链路数。活动接口选举基于系统优先级、系统ID、接口优先级和接口编号。负载分担采用哈希算法，依据源/目的MAC、IP或端口等字段分配流量。配置需确保两端模式、速率、双工等一致，避免故障。]]></description><category></category></item><item><title><![CDATA[GPU 监控体系与性能分析——从 nvidia-smi 到 DCGM]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/169949434</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/169949434</guid><author>2201_75791683</author><pubDate>Wed, 04 Nov 2026 00:46:49 +0800</pubDate><description><![CDATA[GPU监控是识别性能瓶颈的关键，需超越单一利用率指标。核心工具nvidia-smi、nvitop与DCGM+Prometheus+Grafana分别适用于实时检查、持续监控与集群级分析。需综合评估GPU-Util、功耗、显存及SM活跃度，避免“假忙”误判。多GPU训练中，通信效率（如AllReduce）常成瓶颈，导致计算资源闲置。故障排查应分步进行：从基础状态到进程负载、数据流、通信链路，最终建立长期监控体系，实现精准优化。]]></description><category></category></item><item><title><![CDATA[AI 算力基础学习笔记：GPU 多卡互联与集群通信原理]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/169936065</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/169936065</guid><author>2201_75791683</author><pubDate>Tue, 03 Nov 2026 12:05:46 +0800</pubDate><description><![CDATA[本文系统学习 GPU 多卡互联与 AI 集群通信原理，从 GPU 卡内、机内、机间三种通信层次出发，介绍 NVLink、NVSwitch、PCIe、InfiniBand、RoCE、RDMA 和 GPUDirect RDMA 等核心技术，并结合 AllReduce 通信计算、TP/PP/DP 并行策略以及 16 卡 H100 集群案例，理解 GPU 通信带宽对大模型训练性能的影响。同时整理 GPU 通信监控与常见故障排查方法，为后续学习 AI 数据中心网络架构打下基础。]]></description><category></category></item><item><title><![CDATA[GPU 架构深度解析：显存、带宽与算力，如何决定大模型性能？]]></title><link>https://blog.youkuaiyun.com/2201_75791683/article/details/169935278</link><guid>https://blog.youkuaiyun.com/2201_75791683/article/details/169935278</guid><author>2201_75791683</author><pubDate>Tue, 03 Nov 2026 11:52:24 +0800</pubDate><description><![CDATA[从 GPU 内部架构出发，深入解析 HBM、SM、CUDA Core 和 Tensor Core 的工作原理，围绕显存容量、显存带宽与计算能力三个核心指标，结合 8B 大模型训练、推理及 Batch 优化案例，理解 GPU 的性能瓶颈与 Roofline 模型，为学习大模型推理优化和 AI 数据中心架构打下基础。]]></description><category></category></item></channel></rss>