- 博客(838)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 大模型推理引擎vLLM(26):INT8 高吞吐/低延迟 EP 代码梳理、疑问、流程差异、DeepEP 通信差异
大模型推理引擎vLLM(26):大模型推理引擎vLLM(26):INT8 高吞吐/低延迟 EP 代码梳理、疑问、流程差异
2026-10-27 15:30:19
187
原创 Transformer彻底剖析(9)：归一化演进——BatchNorm、LayerNorm、RMSNorm、Post-LN / Pre-LN、DeepNorm
Transformer彻底剖析(9)：归一化演进——BatchNorm、LayerNorm、RMSNorm、Post-LN / Pre-LN、DeepNorm
2026-10-23 17:25:39
177
原创 Transformer彻底剖析(8)：正余弦位置编码、旋转位置编码
他自然的包含了相对位置信息，为什么，position + k的位置编码可以由位置position的位置编码来线性表示，这样就能证明这个公式包含了相对位置，那么任意pos +k的位置编码都可以由pos的位置编码进行线性变换得到，维度越小，则每个词之间的区别就越大，纬度越大，每个词之间的区别就越小，低纬度用来表示局部信息，高纬度用来表示全局信息。假设词向量只有两个维度，正余弦位置编码采用的是加法，而旋转位置编码采用的是旋转，如果是第m个词，就逆时针旋转m个角度，第n个词，就旋转n个角度，
2026-10-22 17:59:33
202
原创 大模型推理引擎vLLM(40): vLLM 0.28.1 推理 GLM-5.2 W4A8，MTP 配合 temperature 0.6 出现整句重复问题的排查
大模型推理引擎vLLM(40): vLLM 0.28.1 推理 GLM-5.2 W4A8，MTP 配合 temperature 0.6 出现整句重复问题的排查
2026-10-21 19:11:12
178
原创 大模型推理引擎vLLM(32):vllm0.25 fp8/int8模型moe backend代码流程详细梳理 triton/marlin/aiter/deepgemm
VllmConfigc++的lambda: [捕获](参数) { 函数体 }模型量化config类又对应不同量化method类。它自己的 get_quant_method：- moe_backend=auto 且未强制 aiter → Marlin Method（旧路径，EP 才 select_gemm_impl）= auto 或强制 aiter → 仍用这个 SlimQuant Config，但 MoE 退回官方 CompressedTensorsMoEMethod（新路径）
2026-10-17 15:23:06
249
原创 海光 GPU vmfault coredump排查方法与步骤：HSA_ENABLE_COREDUMP + hipprof --input-core
海光 GPU VM Fault 排查方法与步骤：HSA_ENABLE_COREDUMP + hipprof --input-core
2026-09-24 09:36:51
61
原创 大模型推理引擎vLLM(39):CUDAGraph模式以及CUDAGraphWrapper和BreakableCUDAGraphWrapper问题整理
大模型推理引擎vLLM(39):CUDAGraph模式以及CUDAGraphWrapper和BreakableCUDAGraphWrapper问题整理
2026-09-21 14:54:57
255
原创 大模型推理引擎vLLM(38):分布式集合通信 Broadcast、Gather、Reduce、ReduceScatter、AllGather、AllReduce、All-to-All 相关问题整理
大模型推理引擎vLLM(38):分布式集合通信 Broadcast、Gather、Reduce、ReduceScatter、AllGather、AllReduce、All-to-All 相关问题整理
2026-09-17 17:08:51
321
原创 大模型推理引擎vLLM(36)：消除vLLM025中gloo:all_reduce导致的DeepEP低延迟30ms大空泡
大模型推理引擎vLLM(36)：消除vLLM025中gloo:all_reduce导致的EP低延迟30ms大空泡
2026-09-06 11:28:24
238
原创 重新整理CUDA中的内存管理、锁页内存、UVA统一虚拟地址、零拷贝、统一内存
重新整理CUDA中的内存管理、锁页内存、UVA统一虚拟地址、零拷贝、统一内存
2026-09-05 17:17:00
498
原创 大模型推理引擎vLLM(35):vllm中PP8 prof分析、问题排查、性能优化、vLLM和SGlang的PP microbatch机制区别
大模型推理引擎vLLM(35)：vllm中pp8 tp2的prof分析、问题排查、性能优化
2026-08-17 17:24:13
299
原创 大模型推理引擎vLLM(31)：vllm和vllm026_Kimi K3四条 MoE 路径下分别使用的什么激活函数算子(Triton/AITER/DeepEP-HT/DeepEP-LL)
大模型推理引擎vLLM(31)：vllm和vllm026_Kimi K3四条 MoE 路径下分别使用的什么激活函数算子(Triton/AITER/DeepEP-HT/DeepEP-LL)
2026-08-08 11:17:08
239
原创 大模型推理引擎vLLM(30)：由一个GLM5 bug，整理MLP中的SwiGLU、算子融合、量化相关问题
大模型推理引擎vLLM(30)：由一个GLM5 bug，整理MLP中的SwiGLU、算子融合、量化相关问题
2026-07-29 11:12:47
311
原创 大模型权重的B/T参数量、显存估算、MoE与Dense模型加载区别以及EP相关问题整理
大模型权重的B/T参数量、显存估算、MoE与Dense模型加载区别以及EP相关问题整理
2026-07-27 11:15:23
485
原创 大模型推理引擎vLLM(29): 重构vllm021中EP高吞吐代码，消除空泡问题:400us减小到25us
大模型推理引擎vLLM(30): 参考sglang代码，重构vllm021中MOE EP高吞吐代码，消除空泡问题:400us减小到25us
2026-07-23 14:01:54
257
原创 大模型推理引擎 vLLM(28)：custom_all_reduce 单机/跨节点原理（IPC、Fabric、HSA）
大模型推理引擎 vLLM(28)：custom_all_reduce 单机/跨节点原理（IPC、Fabric、HSA）
2026-07-13 15:11:37
411
原创 大模型推理引擎vLLM(21): vllm0.21.0中EP基类代码modular_kernel.py详细走读
大模型推理引擎vLLM(21): vllm0.21.0中EP基类代码modular_kernel.py详细走读
2026-07-12 16:12:20
278
原创 大模型推理引擎vLLM(27): TP场景moe与EP场景MOE的相同点和不同点、使用modular_kernel.py的差异
大模型推理引擎vLLM(27): TP场景moe与EP场景MOE的相同点和不同点、使用modular_kernel.py的差异
2026-07-10 10:20:44
304
原创 DeepEP中的对称堆、rocSHMEM、RDMA buffer相关问题整理
DeepEP中的对称堆、rocSHMEM、RDMA buffer相关问题整理
2026-07-09 13:59:28
305
原创 vllm021中EPLB劣化问题原因排查：默认用torch Gloo而非NCCL搬运权重导致空泡
vllm021中EPLB劣化问题原因排查：默认用torch Gloo而非NCCL搬运权重导致空泡
2026-07-07 15:22:02
223
1原创 大模型推理引擎vLLM(25): 从--kv-cache-dtype fp8_e5m2时gsm8k答非所问的bug梳理kv cache相应代码片段
大模型推理引擎vLLM(25): 从--kv-cache-dtype fp8_e5m2时gsm8k答非所问的bug梳理kv cache相应代码片段
2026-06-02 16:27:26
490
原创 大模型推理引擎vLLM(22)：怎么添加一个CLI参数以及命令行参数的解析、传递链路代码梳理
大模型推理引擎vLLM(22)：怎么添加一个CLI参数以及命令行参数的解析、传递链路代码梳理
2026-05-26 16:54:59
547
原创 cudart、cublas、cutlass、triton、marlin、aiter、deepgemm、llm-compressor名词解释以及和vllm代码的关系
cudart、cublas、cutlass、triton、marlin、aiter、deepgemm、llm-compressor名词解释以及和vllm代码的关系
2026-05-07 14:26:42
615
原创 大模型推理引擎vLLM(32):MOE层相关代码流程梳理_权重重排、量化、GEMM计算、EP、vllm serve命令的解析过程
大模型推理引擎vLLM(20):MOE层相关代码流程梳理_权重重排、量化、GEMM计算、EP
2026-05-02 17:59:06
588
原创 大模型推理引擎vLLM(19): vLLM中的DBO(Dual Batch Overlap)功能代码实现分析
大模型推理引擎vLLM(19): vLLM中的DBO(Dual Batch Overlap)功能代码实现分析
2026-03-24 20:24:49
633
原创 大模型推理引擎vLLM(18): vLLM中的SBO(single batch overlapping)功能代码实现分析
大模型推理引擎vLLM(18): vLLM中的SBO(single batch overlapping)功能代码实现分析
2026-03-09 11:57:12
636
原创 大模型推理引擎vLLM(17): vllm015中model_executor/layers/fused_moe/modular_kernel.py代码阅读笔记
大模型推理引擎vLLM(17): vllm/vllm/model_executor/layers/fused_moe/modular_kernel.py代码阅读笔记
2026-03-05 16:51:21
569
原创 大模型推理引擎vLLM(16): vLLM V1 架构与推理流程学习笔记
大模型推理引擎vLLM(16): vLLM V1 架构与推理流程学习笔记
2026-02-25 17:18:33
1327
原创 大模型推理引擎vLLM(15): Scheduler / Worker整体介绍
大模型推理引擎vLLM(15): Scheduler / Worker整体介绍
2026-02-23 16:10:55
401
原创 大模型推理引擎vLLM(12): vLLM Prefix Caching以及eviction的相关问题和代码
大模型推理引擎vLLM(12): vLLM Prefix Caching以及eviction的相关问题和代码
2026-02-22 16:44:53
907
转载 大模型推理引擎vLLM(7): Chunked-Prefills 分块预填充机制
大模型推理引擎vLLM(7): Chunked-Prefills 分块预填充机制
2026-02-20 09:37:04
739
转载 大模型推理引擎 vLLM (6)：Prefix Caching 机制----vLLM哈希方案和SGlang基数树方案
大模型推理引擎 vLLM (6)：Prefix Caching 机制----vLLM哈希方案和SGlang基数树方案
2026-02-19 13:55:31
586
原创 大模型推理引擎 vLLM(2)：PagedAttention论文学习以及原理解析
大模型推理引擎 vLLM(2)：PagedAttention论文学习以及原理解析
2026-01-17 17:11:30
1616
原创 大模型推理引擎vLLM(1): FlashAttention论文以及原理解析
大模型推理引擎vLLM(1): FlashAttention论文以及原理解析
2026-01-10 18:42:39
1148
瑞芯微RV1126开发板算法移植说明文档-环境搭建-opencv交叉编译-C++推理代码-yolov5算法移植-分类算法移植-人脸检测识别算法移植
2025-01-16
pytorch学习视频百度网盘链接.txt
2020-02-23
ndjpnladcallmjemlbaebfadecfhkepb.zip
2020-08-04
2020-07-24-21-20-52-download-P3X-OneNote-2020.10.105.AppImage
2020-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人