- 博客(211)
- 收藏
- 关注
RSS订阅原创 MNNVL概述与排障建议
MNNVL 全称是，即“多节点 NVLink”。它把 NVLink 的通信域从单台服务器扩展到多台物理机器，使不同节点上的 GPU 可以通过 NVLink/NVSwitch Fabric 进行跨节点 GPU 内存访问和通信。它不是把两台机器变成一台 Linux 服务器，也不是简单替代 MPI，而是给 CUDA、NCCL、NVSHMEM、UCX 等通信库提供一条比传统 IB/RoCE 更紧密的跨节点 GPU 通路。NVIDIA 的典型 MNNVL 系统是 GB200/GB300 NVL 类机架系统。
2026-09-14 16:01:38
249
原创 LLM API 协议全景
像 Bedrock（SigV4）、Vertex（项目/OAuth）、Codex（OAuth）这类协议，认证依赖环境/基础设施（AWS 凭证、GCP 项目），不是「配一个 key 就能用」，所以不少配置型网关并不把它们开放为可选协议——这是工程取舍，不是能力缺失。工程上自然会出现「把 N 家协议归一为一种内部结构」的适配层（网关、SDK 适配器），上层业务只面对一种消息模型，代价是。客户端（工具链、SDK）只说自己生态的协议，模型服务（尤其是第三方模型）只愿维护少量协议。语义是「未命中缓存」的输入；
2026-09-09 11:48:40
301
原创 SGLang HiCache KVCache Offload 方案调研
HiCache 是 SGLang 在 RadixAttention 基础上的分层 KV Cache 方案。它把 KV cache 组织成三层层级位置作用是否本地数据结构L1GPU 显存推理计算直接使用的 KV cache单实例/单 rank 私有L2CPU Host 内存，通常 pinned/registered扩大本地 cache 容量，作为 L1 与 L3 的中转层单实例/单 rank 私有L3外部存储或分布式 KV store跨实例共享、持久/半持久复用。
2026-06-17 17:50:57
744
原创 SGLang Model Gateway 核心功能解析
简单来说，SGLang Model Gateway 是一个高性能网关组件，负责统一对外提供 API 接口，在内部完成请求路由、负载均衡和服务调度，将推理请求分发到合适的后端模型实例，支持多模型、多节点部署，同时保证推理服务在高并发场景下的稳定性和可观测性。普通 Router 模式下，把一批同 Worker 交给 Router 管理，它只把请求分发给哪台机器，只有一个模型。系统，专为 SGLang 推理运行时深度优化，同时对外暴露兼容 OpenAI 标准的 API 接口，可以无缝融入现有的 AI 应用生态。
2026-05-26 11:36:16
1019
原创 SGLang HiCache 原理与部署配置
在大语言模型（LLM）推理中，预填充（Prefill）阶段往往是性能瓶颈：输入序列需先转换为 KV Cache，才能进行后续解码。当多个请求共享相同前缀时，对应的 KV Cache 完全一致，存在大量重复计算。为解决这一问题，SGLang 引入了 RadixAttention，利用空闲 GPU 内存缓存并复用前缀 KV Cache；进一步地，HiCache 将这一思路扩展至宿主机内存（Host Memory）和分布式存储层，构建三级缓存体系，在显著扩大 KV Cache 容量的同时保持较强的读取性能。
2026-05-26 11:26:20
1042
原创 CUDA Kernel 优化原理与 SGLang 中的实现机制
优化方向具体策略效果并行度合理设置 Block/Thread 数量提高 SM 利用率内存访问合并访问、缓存共享内存、减少 bank conflict提高带宽利用率寄存器控制寄存器数、防止溢出提高 occupancy控制流避免 warp divergence提高执行效率指令级使用 intrinsic 函数（如 __fmaf_rn, __ldg）减少指令数、提升吞吐数据重用Block 局部缓存共享内存降低 DRAM 访问频率异步执行使用 streams / CUDA Graph。
2026-03-11 11:37:51
637
原创 CUDA graph 简析
CUDA Graph 是 NVIDIA CUDA 中的一个重要功能，用于。它的核心思想是，然后一次性提交整个图到 GPU 执行，从而减少 CPU 与 GPU 之间的交互开销（降低 API 调用和同步的开销），提升性能（尤其适合重复执行的固定模式任务）。构成CUDA图的节点是任意在传统的 CUDA 流（Stream）模型中，每个操作（如内核启动、内存拷贝）需要逐个提交到流中，GPU 驱动程序需要逐个处理这些请求。当存在大量小任务时，CPU 与 GPU 之间的通信开销会显著增加。
2026-03-11 11:12:26
761
原创 CUDA graph 简述
CUDA Graph 是 NVIDIA CUDA 中的一个重要功能，用于。它的核心思想是，然后一次性提交整个图到 GPU 执行，从而减少 CPU 与 GPU 之间的交互开销（降低 API 调用和同步的开销），提升性能（尤其适合重复执行的固定模式任务）。构成CUDA图的节点是任意在传统的 CUDA 流（Stream）模型中，每个操作（如内核启动、内存拷贝）需要逐个提交到流中，GPU 驱动程序需要逐个处理这些请求。当存在大量小任务时，CPU 与 GPU 之间的通信开销会显著增加。
2025-10-20 16:04:27
1822
原创 DeepSeek MoE 技术解析：模型架构、通信优化与负载均衡
下图是从模型参数切分和数据切分的角度（只考虑 FFN 层）来比较几种并行策略：（
2025-07-29 15:40:42
4184
原创 从 GEMM 到 DeepGEMM：GPU 矩阵计算原理与优化
1.1 GEMM简介GEMM通用矩阵的矩阵乘法）是BLAS（Basic Linear Algebra Subprograms）库中的一个函数，用于实现矩阵与矩阵之间的乘法运算。BLAS库是一组用于执行基础线性代数运算的子程序库，包括向量加法、数乘、点积、矩阵相乘等。GEMM 的数学原理GEMM 的基本公式：如上图所示，简单来说，GEMM就是将两个矩阵相乘，得到一个输出矩阵的过程。m < M;k++) {
2025-07-29 11:10:50
4236
2
原创 一文看懂 Mooncake
Kimi与清华大学联合参与的项目论文《Mooncake: Trading More Storage for Less Computation-A KVCache-centric Architecture for Serving LLM Chatbot》获得计算机存储领域顶会。
2025-04-28 17:19:22
7547
原创 NVIDIA Nsight 使用方法
是 NVIDIA 的是系统级别的性能分析工具，记录程序在运行过程中的各种信息，如每个任务的开始和结束时间、GPU的利用率、内存使用情况等内核级（Kernel）分析，针对 Kernel 函数的详细性能分析工具先用nsight system做全局的分析，如果需要看kernel内部的profile再用nsight compute。
2025-03-25 11:55:18
4738
原创 Stable Diffusion 基础模型结构超级详解！
第一个只用来解决序列到序列问题的模型，最早被 Google 用来解决对于中英翻译而言，需要解决三个具体的问题：如何用数字表示中文和英文如何让神经网络理解语义如何让神经网络生成英文。
2025-03-25 11:34:54
2709
原创 思维链（cot）概述
思维链(CoT)提示过程是一种最近开发的提示方法，它鼓励大语言模型解释其推理过程。下图显示了 few shot standard prompt（左)与链式思维提示过程（右）的比较。思维链的主要思想是通过向大语言模型展示一些少量的 exemplars，在样例中解释推理过程，大语言模型在回答提示时也会显示推理过程。这种推理的解释往往会引导出更准确的结果。
2025-01-24 10:35:14
1724
原创 简述 LangChain
LangChain Agent 是框架中驱动决策制定的实体。它可以访问一组工具，并可以根据用户的输入决定调用哪个工具。代理帮助构建复杂的应用程序，这些应用程序需要自适应和特定于上下文的响应。当存在取决于用户输入和其他因素的未知交互链时，它们特别有用。LangChain model 是一种抽象，表示框架中使用的不同类型的模型。LLM（大型语言模型）：这些模型将文本字符串作为输入并返回文本字符串作为输出。它们是许多语言模型应用程序的支柱。聊天模型( Chat Model)
2025-01-23 17:42:24
1102
原创 RAG（检索增强生成）技术概述
简单来说，。下图是一个检索增强 LLM 的简单示意图。传统的信息检索工具，比如 Google/Bing 这样的搜索引擎，只有检索能力 ()，现在 LLM 通过预训练过程，将海量数据和知识嵌入到其巨大的模型参数中，具有记忆能力 (从这个角度看，检索增强 LLM 处于中间，将 LLM 和传统的信息检索相结合，通过一些信息检索技术将相关信息加载到 LLM 的工作内存 () 中，即 LLM 的上下文窗口 ()，亦即 LLM 单次生成时能接受的最大文本输入。
2025-01-15 10:52:11
1243
原创 大语言模型LLM推理框架简单总结
首先来总结一下这些框架的特点，如下表所示：下面在内存容量为40GB的A100 GPU上，并且使用LLaMA-1 13b模型（因为列表中的所有库都支持它）进行七个部署框架的对比。
2025-01-14 14:18:07
2152
原创 分布式训练相关问题总结
点对点通信（Peer-to-Peer Communication）是一种网络通信模式，其中两个或多个计算机或设备之间直接进行通信，而不需要通过中央服务器或集中式系统。在点对点通信中，每个参与者都可以充当客户端和服务器，能够直接与其他节点通信、交换信息或共享资源。这种通信模式与传统的客户端-服务器模型不同，后者在网络中有一个中心服务器负责处理和转发所有请求和数据。而点对点通信模式中，参与者之间能够直接建立连接，相互传输信息或资源，使得网络更为分散和去中心化。
2025-01-10 17:54:14
923
原创 大语言模型训练数据集格式
文本序列训练集、验证集和测试集（如CSV、JSON等）在这个示例中，（1代表正例，0代表负例）。每一行代表一个样本，第一列是输入数据，第二列是对应的标签。需要注意的是，具体的数据集格式可能会因任务类型、数据来源和使用的深度学习框架而有所不同。因此，在进行SFT训练时，建议根据具体任务和框架的要求来定义和处理数据集格式。
2025-01-10 17:26:44
2295
原创 NVLink vs NVSwitch
是由 NVIDIA 开发的一种，旨在实现 GPU 与 GPU 或 GPU 与 CPU 之间的高带宽、低延迟通信。它通过专用的硬件互连通道，比传统的 PCIe 通信速度更快。
2025-01-10 10:52:21
4884
原创 AttributeError: module ‘cv2.dnn‘ has no attribute ‘DictValue‘
新的报错：ImportError: libGL.so.1: cannot open shared object file: No such file or directory。解决方法： 回退到4.5.5.64版本。
2024-12-04 11:39:04
886
原创 GGUF 大模型文件格式
原因在于GGUF采用了多种技术来保存大模型预训练结果，包括采用紧凑的二进制编码格式、优化的数据结构、内存映射等。注意：llama.cpp官方提供了。
2024-12-03 14:43:41
4783
原创 ComfyUI 基本原理
Webui vs ComfyuiComfyui 和 Webui 都是基于 Stable Diffusion 开发，实现文生图、图生图、ControlNet 控制、高清放大、局部重绘、Animatediff 生成视频等Webui 具有整合好的可视化界面，可以在浏览器上对各个参数进行点击、选择，学习成本低 Comfyui 是一个基于节点式的操作流程，没有固定的整合使用界面，一个个被线连接的节点，构成一个从输入到输出的完整工作流程 相比于 Webui 只能按照预设好的方式，调节有限的参数来进行
2024-12-03 11:48:16
2268
原创 分布式推理框架 xDit
xDiT 是一个为大规模多 GPU 集群上的 Diffusion Transformers（DiTs）设计的可扩展推理引擎。它提供了一套高效的并行方法和 GPU 内核加速技术，以满足实时推理需求。
2024-12-03 11:31:27
3860
原创 大模型常用精度
双精度（FP64）、单精度（FP32、TF32）、半精度（FP16、BF16）、8位精度（FP8）、4位精度（FP4、NF4）INT8、INT4 （也有INT3/INT5/INT6的）在正常情况下，大模型的参数多以浮点数的形式存在，不考虑算力的情况下，一般原始的模型的参数是32位的浮点数，也就是FP32。在计算机中一个字节是8位，那么一个。
2024-10-23 17:50:21
3763
原创 简述公有云与私有云的区别
在公有云中，所有硬件、软件和其他支持性基础结构均为云提供商所拥有和管理。这样，私有云可使组织更加方便地自定义资源，从而满足特定的 IT 需求。私有云的使用对象通常为政府机构、金融机构以及其他具备业务关键性运营且希望对环境拥有更大控制权的中型到大型组织。但是，在私有云中，服务和基础结构始终在私有网络上进行维护，硬件和软件专供组织使用。多种不同的云计算模型、类型和服务已得到发展，可以满足组织快速变化的技术需求。部署云计算资源有三种不同的方法：公共云、私有云和混合云。私有云：自己搭建云平台，或者购买。
2024-10-14 11:21:55
690
原创 Kubernetes Pod详解
apiVersion: v1 #必选，版本号，例如v1kind: Pod #必选，资源类型，例如 Podmetadata: #必选，元数据name: string #必选，Pod名称namespace: string #Pod所属的命名空间,默认为"default"labels: #自定义标签列表spec: #必选，Pod中容器的详细定义containers: #必选，Pod中容器列表- name: string #必选，容器名称。
2024-10-08 15:09:10
1408
原创 Kubernetes 资源详解
Namespace 是 kubernetes 系统中的一种非常重要资源，它的主要作用是用来实现或者。默认情况下，kubernetes集群中的。但是在实际中，可能不想让两个Pod之间进行互相的访问，那此时就可以将两个Pod下。kubernetes通过将集群内部的资源分配到不同的Namespace中，可以形成逻辑上的"组"，以方便不同的组的资源进行隔离使用和管理。可以通过kubernetes的授权机制，将不同的namespace交给不同租户进行管理，这样就实现了多租户的资源隔离。
2024-09-27 11:01:09
1115
原创 Kubernetes 资源管理
在 kubernetes 中，所有的内容都抽象为资源，用户需要通过操作资源来管理 kubernetes。kubernetes 的本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在 kubernetes 集群中运行一个个的容器，并将指定的程序跑在容器中；kubernetes 的最小管理单元是pod而不是容器，所以只能将容器放在Pod中，而kubernetes 一般也不会直接管理 Pod，而是通过Pod 控制器来管理 Pod 的；
2024-09-26 19:59:38
885
原创 LiblibAI 平台部署 Comfyui 工作流
Comfyui 和 Webui 都是基于 Stable Diffusion 开发，实现文生图、图生图、ControlNet 控制、高清放大、局部重绘、Animatediff 生成视频等。Comfyui 是一个基于节点式的操作流程，没有固定的整合使用界面（有很多在线平台，LiblibAI 也是其中之一）、条件（添加在加载器和K采样器之间，例如正向提示词和负向提示词，充当指挥官，设定生成条件）、采样、Latent、图像。Webui 具有整合好的可视化界面，可以在浏览器上对各个参数进行点击、选择，学习成本低。
2024-09-26 16:47:04
10288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人