<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[公众号：AI前沿侦探]]></title><description><![CDATA[个人博客网站：http://www.maxcode.top/]]></description><link>https://blog.youkuaiyun.com/u012743772</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u012743772]]></copyright><item><title><![CDATA[赢在优快云｜推掉，规矩不能坏：写了13年代码，我的文章贵点但读了不烧心]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/169845661</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/169845661</guid><author>u012743772</author><pubDate>Mon, 02 Nov 2026 17:12:34 +0800</pubDate><description><![CDATA[13年深耕优快云，坚持原创609篇，不为流量，只为“读了不烧心”。立下三条铁规：拒标题党、保质量、重落地。所有内容皆源自生产实战，可验证、可复用。贵在真实，赢在信任。通过高质量付费专栏反哺技术成长，助力开发者少走弯路。未来将继续深耕AI原生工程，以规矩立身，让技术分享真正有价值。]]></description><category></category></item><item><title><![CDATA[中国顶尖大模型对比评测：GLM-5.3、Qwen3.8-max、Kimi-K3、MiniMax-M3 与 豆包 2.1 Pro]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164117887</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164117887</guid><author>u012743772</author><pubDate>Thu, 27 Aug 2026 14:46:09 +0800</pubDate><description><![CDATA[中国顶尖大模型对比评测：GLM-5.3、Qwen3.8-max、Kimi-K3、MiniMax-M3 与 豆包 2.1 Pro**

对2026年中国大语言模型（LLM）市场的五款旗舰级产品——智谱AI的GLM-5.3、阿里巴巴的Qwen3.8-max、月之暗面的Kimi-K3、稀宇科技的MiniMax-M3以及字节跳动的豆包大模型2.1 Pro——进行一次全面、深入的横向对比分析。研究发现，2026年的LLM市场已进入“万亿参数”与“原生多模态”双轮驱动的时代，各家厂商在技术路线、能力侧重、商业模式上展现]]></description><category></category></item><item><title><![CDATA[生产环境部署Qwen3.8-27B全流程]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164117222</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164117222</guid><author>u012743772</author><pubDate>Thu, 27 Aug 2026 14:21:52 +0800</pubDate><description><![CDATA[## 生产环境部署Qwen3.8-27B全流程

1.  **硬件选型：** 如何根据模型精度（FP16/BF16, FP8, INT4）精确计算并选择合适的GPU显存、CPU与系统内存配比。]]></description><category></category></item><item><title><![CDATA[第9章 面试精讲——推理核心概念与高频考题]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053793</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053793</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:34:55 +0800</pubDate><description><![CDATA[面试不是考你背了多少，而是考你能不能把零散的知识点串成一条线。推理面试的核心线只有一条：memory-bound。]]></description><category></category></item><item><title><![CDATA[第8章 vLLM实战——生产部署与性能调优]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053759</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053759</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:33:56 +0800</pubDate><description><![CDATA[前面7章讲了原理，这一章动手。从pip install到生产服务，从量化部署到性能调优，从OOM排查到多卡扩展——这一章覆盖vLLM实战的完整链路。]]></description><category></category></item><item><title><![CDATA[第7章 量化技术——从GPTQ到AWQ的精度与效率博弈]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053740</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053740</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:33:16 +0800</pubDate><description><![CDATA[量化是将高精度数值（FP32/FP16）映射到低精度（INT8/INT4/FP8）的过程。对LLM推理而言，量化主要针对模型权重FP16权重: [0.1234, -0.5678, 0.9012, -0.3456, ...] ← 每个值2字节INT4权重: [3, -7, 5, -4, ...] ← 每个值0.5字节映射关系通过量化参数量化: x_int = round(x_fp / scale + zero_point)反量化: x_fp = (x_int - zero_point) × scale。]]></description><category></category></item><item><title><![CDATA[第6章 TensorRT-LLM——NVIDIA的下一代推理方案]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053705</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053705</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:31:52 +0800</pubDate><description><![CDATA[维度vLLMTGI核心创新Hub集成编译优化KV Cache管理预分配预分配Batching不支持不支持不支持量化手动配置模型支持HF模型广泛HF模型手动适配HF模型+ONNX部署方式pip/DockerDockerC++集成编译+TritonGPU支持NVIDIA GPUNVIDIA GPUNVIDIA GPU仅NVIDIA GPU性能吞吐最优中等Kernel最优延迟最优易用性高最高低中维护状态活跃活跃已停止活跃。]]></description><category></category></item><item><title><![CDATA[第5章 FasterTransformer——NVIDIA的推理加速引擎]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053668</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053668</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:31:20 +0800</pubDate><description><![CDATA[FasterTransformer用Kernel Fusion把GPU推理推向极限，但它不支持Continuous Batching，不支持PagedAttention，最终被TensorRT-LLM取代。理解它的价值，才能理解TensorRT-LLM的设计。]]></description><category></category></item><item><title><![CDATA[第4章 TGI——HuggingFace的推理服务方案]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053639</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053639</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:29:07 +0800</pubDate><description><![CDATA[你有一个HuggingFace模型，想最快地部署成推理服务。TGI就是为此而生——一行Docker命令，模型从Hub到API。]]></description><category></category></item><item><title><![CDATA[第3章 vLLM——PagedAttention的工程实现与架构解析]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053596</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053596</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:27:04 +0800</pubDate><description><![CDATA[vLLM架构解析与PagedAttention实现 vLLM作为首个将显存管理作为核心创新的推理框架，其架构围绕KV Cache高效管理和并发请求调度设计。核心组件包括： LLMEngine协调调度器、块管理器和执行器 PagedAttention通过分块机制管理KV Cache，采用16token/块的默认配置 BlockManager实现逻辑块到物理块的映射，支持Copy-on-Write共享 调度系统采用抢占式策略，优先保障解码请求 关键技术亮点： 类操作系统虚拟内存的分块管理机制 专用CUDA Ke]]></description><category></category></item><item><title><![CDATA[第2章 推理优化技术——KV Cache、PagedAttention与Continuous Batching]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053577</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053577</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:26:28 +0800</pubDate><description><![CDATA[KV Cache占了推理显存的大头，但传统管理方式浪费了其中30%-40%的空间。PagedAttention让显存利用率从60%飙升到95%以上，Continuous Batching让吞吐提升2-4倍。这些优化的底层逻辑是什么？]]></description><category></category></item><item><title><![CDATA[第1章 LLM推理全景——从训练到推理的范式转换与核心瓶颈]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/164053563</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/164053563</guid><author>u012743772</author><pubDate>Tue, 25 Aug 2026 13:25:45 +0800</pubDate><description><![CDATA[本文分析了大型语言模型(LLM)推理过程中的核心瓶颈与优化方向。关键点包括： 训练与推理的本质差异：训练是计算密集(compute-bound)，推理的解码阶段是内存带宽密集(memory-bound)，导致GPU利用率从90%骤降至5-10%。 推理两阶段特征： Prefill阶段：计算密集，处理整个prompt，GPU利用率高 Decode阶段：内存带宽密集，逐个生成token，算术强度极低 KV Cache显存占用成为主要瓶颈，其大小与模型层数、序列长度和批量大小成正比，甚至可能超过模型权重本身。 推]]></description><category></category></item><item><title><![CDATA[策略选择与混合精度——从决策树到 FP16/BF16]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856838</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856838</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:22:28 +0800</pubDate><description><![CDATA[本文摘要： 本文系统介绍了分布式训练并行策略的选择方法及混合精度训练技术要点。主要内容包括： 并行策略决策树，针对单机单卡、单机多卡和多机多卡不同场景提供选型建议 深入分析ZeRO与流水线并行(PP)的兼容性问题，指出ZeRO-1+PP+TP是最稳定的3D并行组合 对比FP16与BF16混合精度训练的优缺点，建议10B规模以下用FP16，10B以上优先选择BF16 提供训练稳定性最佳实践，包括梯度裁剪、学习率预热和损失缩放等技术 文章特别强调，在大模型训练中，BF16凭借更大的数值范围能有效避免溢出问题，而]]></description><category></category></item><item><title><![CDATA[MOE 并行——稀疏专家的分布式策略]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856824</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856824</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:21:58 +0800</pubDate><description><![CDATA[本文介绍了混合专家模型（MOE）的分布式并行策略。MOE通过稀疏激活机制，每个Token仅路由到少数专家进行计算，在几乎不增加计算量的情况下实现模型规模的指数级扩展。文章详细分析了MOE的核心组件（专家网络、门控路由、负载均衡）和多种并行策略（专家并行EP与数据并行DP、张量并行TP等的组合），重点讨论了All-to-All通信模式带来的挑战。通过对比Switch-Transformer和GLaM两种典型实现，阐明了不同路由策略的优劣。最后指出MOE在通信瓶颈、负载均衡、训练稳定性和推理效率等方面面临的挑战]]></description><category></category></item><item><title><![CDATA[自动并行——从半自动到全自动的搜索之路]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856810</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856810</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:21:20 +0800</pubDate><description><![CDATA[文章摘要： 自动并行技术旨在解决大模型分布式训练中手动配置并行策略的困境，包括搜索空间巨大、规则不通用和评估成本高等问题。现有方案分为半自动（如Mesh-TensorFlow、GSPMD）和全自动（如FlexFlow、Alpa）两类。半自动方案依赖用户标注切分意图，编译器推导通信；全自动方案通过模拟代价模型搜索最优策略，但面临精度不足、搜索耗时和调试困难等挑战。目前工业界仍以手动配置为主，自动并行受限于代价模型精度和动态适应性，但其作为未来方向，需结合更优算法、编译器集成和人机协同。自动并行虽未大规模落地，]]></description><category></category></item><item><title><![CDATA[多维混合并行——3D 并行策略与业界大模型实践]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856798</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856798</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:20:45 +0800</pubDate><description><![CDATA[本文摘要： 混合并行是训练超大规模模型（百亿至千亿参数）的核心技术方案。文章系统分析了三种基础并行策略的局限性：数据并行(DP)受显存限制、流水线并行(PP)存在计算空泡、张量并行(TP)依赖高带宽通信。针对这些限制，提出了3D并行框架（DP+PP+TP）的组合策略：TP在节点内拆分单层参数，PP在节点间分配模型层，DP实现全局数据并行。文章详细阐述了3D并行的层级结构设计原则（高频通信对应高带宽拓扑）、并行度分配方法，并分析了ZeRO与PP/TP的兼容性问题（推荐ZeRO-1+PP+TP组合）。最后列举了]]></description><category></category></item><item><title><![CDATA[序列并行——两种同名却异构的并行策略]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856785</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856785</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:20:12 +0800</pubDate><description><![CDATA[本文系统分析了两种不同的"序列并行"(Sequence Parallelism)技术：Colossal-AI的方案专注于处理超长输入序列，通过Ring Attention技术切分序列维度，使模型能处理128K+长度的序列；而Megatron-LM的方案则针对激活值显存优化，在张量并行组内切分激活值的序列维度以减少冗余存储。两种方案虽然名称相同，但解决的问题、实现方法和应用场景截然不同。文章详细对比了两者的技术特点，并指出它们可以互补使用。最后强调在实际应用中需要明确区分这两种技术方案。]]></description><category></category></item><item><title><![CDATA[张量并行——从 1D 切分到 3D 并行的内存与通信博弈]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856768</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856768</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:19:31 +0800</pubDate><description><![CDATA[摘要（150字） 张量并行是解决大模型层内参数显存不足的关键技术，通过将权重矩阵切分到不同设备实现内存优化。1D并行（如Megatron-LM）采用列并行和行并行组合，每个Transformer层仅需一次AllReduce；2D并行（Colossal-AI）进一步切分激活值，但通信量增加；2.5D和3D并行通过多维设备网格和冗余设计降低通信开销，适用于超大规模场景。PyTorch 2.0已原生支持1D并行。技术演进本质是内存与通信的权衡，1D因通信高效仍是主流，通常限于单节点内以利用高速互联。]]></description><category></category></item><item><title><![CDATA[流水线并行——从朴素分片到 1F1B 的效率革命]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856758</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856758</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:18:57 +0800</pubDate><description><![CDATA[本文系统介绍了流水线并行（Pipeline Parallelism）技术的演进历程及其核心优化思路。当模型过大无法单卡存放时，流水线并行通过按深度切分模型层到不同设备来解决显存问题。文章首先区分了流水线并行与张量并行的差异，重点分析了朴素流水线方案存在的严重设备闲置（Bubble）问题。随后详细讲解了GPipe引入的微批次机制和F-then-B模式，虽能降低Bubble率但需缓存大量中间激活值。进一步介绍了PipeDream提出的1F1B调度模式，通过前向反向交叉计算显著减少显存占用，并讨论了权重一致性问题]]></description><category></category></item><item><title><![CDATA[数据并行——从 DataParallel 到 ZeRO 的演进之路]]></title><link>https://blog.youkuaiyun.com/u012743772/article/details/163856737</link><guid>https://blog.youkuaiyun.com/u012743772/article/details/163856737</guid><author>u012743772</author><pubDate>Tue, 18 Aug 2026 15:18:23 +0800</pubDate><description><![CDATA[数据并行技术从DataParallel到ZeRO的演进解决了大模型训练的显存瓶颈问题。早期DataParallel存在通信负载不均、GIL限制等缺陷；DistributedDataParallel采用多进程架构和Ring-AllReduce算法，优化了通信效率但仍需完整存储模型副本；FullyShardedDataParallel和ZeRO通过参数、梯度、优化器状态的分片策略，将显存需求从单卡完整存储降低为按比例分片存储，使大模型训练成为可能。其中ZeRO三阶段分片策略系统性地消除了数据冗余，显著提升了训练]]></description><category></category></item></channel></rss>