- 博客(1486)
- 资源 (28)
- 收藏
- 关注
RSS订阅原创 attention ia all you need 模型简介
这份 2131 行的 Notebook，真正参与推理的只有约 300 行模型代码加一个“源句编码一次 → 目标前缀反复做『因果自注意力 + 交叉注意力 + FFN』→ log_softmax 取最大 → 拼接”。它与 GPT-1 共享同一套注意力数学，差别只在信息来源（多了编码器 memory）、位置编码（正弦而非学习）和残差写法（Pre-LN）。掌握这条主线后，再去读 Hugging Face 的 BART/T5，或带 KV cache、beam search 的工程实现，就只是在此骨架上做增量了。
2026-11-05 08:35:42
197
原创 GPT-1 架构和计算细节
下面配合框图，对 GPT-1 的每个组件做公式展开 + 数值实例（配置：12 层 × 768，12 头，FFN 3072，词表 40478，共 117M 参数）。GPT-1 把翻译模型的编码器-解码器砍掉一半，只留解码器，然后以"预测下一个词"为目标在 BooksCorpus 上预训练。与 2017 原版的四个架构差异（框图中标 ★）：h0=E[token]+Epos[position],E∈R40478×768, Epos∈R512×768h^0 = E[\text{token}] + E_{pos}[\
2026-11-05 08:05:24
211
原创 SGLang 适配 AMD 平台的开发工作全面梳理
Python 调度层几乎零成本；真正的开发工作在「kernel 移植（hipify + 手工修 warp/汇编）→ 用 AITER/Triton/CK 重建 attention、MoE、量化后端 → 用 MORI/RCCL 替换 NVSHMEM/NCCL 通信 → 处理 CUDA graph 与投机解码的 HIP 特有缺陷 → 按 gfx 架构做调优与 CI」这条链路上。
2026-11-03 02:51:13
267
原创 全文 - LLaMA v2 - Llama 2: Open Foundation and Fine-Tuned Chat Models
所有作者的贡献详见附录 A.1 节。在这项工作中，我们开发并发布了 Llama 2，这是一组预训练和微调的大语言模型（LLM），参数规模从 70 亿到 700 亿不等。我们微调的 LLM 称为 Llama 2-Chat，针对对话场景进行了优化。在我们测试的大多数基准上，我们的模型优于开源聊天模型；并且根据我们针对有用性和安全性进行的人工评估，它们可能成为闭源模型的合适替代品。我们详细描述了 Llama 2-Chat 的微调方法和安全性改进措施，以便社区能够在我们的工作基础上进行构建，为 LLM 的负责任发展
2026-11-02 13:46:35
153
原创 全文 - LLaMA v1 - LLaMA: Open and Efficient Foundation Language Models
我们推出 LLaMA，这是一个参数规模从 70 亿（7B）到 650 亿（65B）不等的基础语言模型集合。我们在数万亿个 token 上训练模型，并证明完全可以只使用公开可得的数据集来训练最先进的模型，而无需诉诸专有和不可获取的数据集。特别地，LLaMA-13B 在大多数基准测试上超越了 GPT-3（175B），而 LLaMA-65B 可与最佳模型 Chinchilla-70B 和 PaLM-540B 相媲美。我们将所有模型发布给研究社区。1。
2026-11-02 13:42:29
345
原创 全文 - DeepSeek-V1 Technical Report
开源大语言模型（LLM）的迅猛发展着实令人瞩目。然而，以往文献中描述的缩放定律（scaling laws）结论各异，这给大语言模型的扩展蒙上了一层阴影。我们深入研究了缩放定律，并提出了独特的发现，这些发现有助于在两种主流开源配置（7B 和 67B）下扩展大规模模型。在缩放定律的指导下，我们推出了 DeepSeek LLM——一个致力于以长期视角推进开源语言模型发展的项目。为支持预训练阶段，我们构建了一个目前包含 2 万亿 token 且仍在持续扩充的数据集。
2026-11-02 01:39:39
271
原创 全文 - DeepSeek-V2 Technical Report
DeepSeek-AIresearch@deepseek.com我们介绍 DeepSeek-V2，一个以经济训练和高效推理为特点的强大混合专家（MoE）语言模型。它共有 236B 参数，其中每个 token 激活 21B 参数，并支持 128K token 的上下文长度。DeepSeek-V2 采用了包括多头潜在注意力（MLA）和 DeepSeekMoE 在内的创新架构。MLA 通过将键值（KV）缓存显著压缩为一个潜在向量来保证高效推理，而 DeepSeekMoE 则通过稀疏计算以经济的成本训练强大的模型
2026-11-02 01:38:42
294
原创 大模型的思维链原理概述
层面核心机制典型方法特点提示工程诱导模型已有的潜在推理模式无需训练，快速灵活；效果受限于模型本身的基础能力训练内化推理能力为模型的本能冷启动 SFT → 强化学习（规则/过程奖励） → 拒绝采样再微调能力更强、更稳定，可涌现出自我反思等高级行为；需要大量计算和数据工程思维链的效果并非来自某个单一“开关”，而是一个从推理时的“引导”，逐步发展为**训练时的“内化”**的连续谱系。提示工程让模型“表现出”推理，而强化学习训练则让模型“成为”一个推理者。
2026-11-01 20:40:45
145
原创 全文 - DeepSeek-V3 Technical Report
我们提出 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总参数量为 671B，每个 token 激活 37B 参数。为实现高效推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这两种架构已在 DeepSeek-V2 中得到充分验证。此外，DeepSeek-V3 首创了一种无辅助损失的负载均衡策略，并设置了多 token 预测训练目标以获得更强的性能。
2026-11-01 18:51:19
312
原创 全文 - Deploying DeepSeek with PD Disaggregation and Large‑Scale Expert Parallelism on 96 H100 GPUs
根据该博客及公开信息，SGLang 部署的是模型，其总参数量为（激活参数为 37B）。该博客聚焦于如何用 SGLang 在 96 块 H100 GPU 上高效部署这一特定模型，并复现其推理系统性能。
2026-11-01 18:50:05
370
原创 deepseek v4.1 与 sglang 和 MoE
SGLang 确实具备部署 V4.1-Flash 的能力，并且对这款新架构模型的关键特性（CED、DSpark、Engram、FP4 量化等）做了有针对性的集成。如果你拥有级别的硬件，并且愿意使用官方预览 Docker 镜像，那么 SGLang 是一个被官方验证、功能完整的部署选择。如果你期望的是后就绪的稳定版体验，或者你的目标是H100等未列入验证清单的硬件，那么目前还谈不上“直接胜任”，需要等待正式版发布或自行承担适配风险。
2026-11-01 18:04:56
297
原创 全文 - The Illustrated Transformer
由于我们处理的是矩阵，我们可以将第二步到第六步压缩成一个公式，来计算自注意力层的输出。矩阵形式的自注意力计算。
2026-11-01 00:13:49
219
原创 《Improving Language Understanding by Generative Pre-Training》 GPT-1 训练算法整理
无标注文本↓BPE、连续序列采样Token 嵌入可学习位置嵌入↓12层掩码自注意力 Transformer Decoder↓下一 token 交叉熵生成式预训练参数θpre↓加载参数，添加任务输出层任务交叉熵0.5×语言模型损失↓联合反向传播具体下游任务模型\boxed{&\text{无标注文本}\\&\downarrow\ \text{BPE、连续序列采样}\\&\text{Token 嵌入}+\text{可学习位置嵌入}\\
2026-10-31 16:05:38
154
原创 《Attention Is All You Need》的 Encoder–Decoder Transformer 一次完整训练
下面按的 Encoder–Decoder Transformer，整理一次完整训练过程。
2026-10-31 15:59:23
269
原创 AMD HIP 与 CUDA 风格/命名生态的法律与使用边界
HIP 是 MIT 许可证，使用它本身通常不侵权。HIP 与 CUDA 像，主要是因为 API 设计思想和编程模型相似，而非复制具体代码。API/接口本身在美国通常不受版权保护（参考 Oracle v. Google），“长得像”一般不构成版权侵权。真正的风险点在于：是否复制了 NVIDIA/AMD 的具体代码实现、是否落入他人有效专利、是否误用他人商标。如果项目只是使用 HIP 命名生态（.hip文件、hipMalloc。
2026-10-31 01:37:55
139
原创 SGLang 中 AMD GPU 内核源文件后缀分析：.cu vs .hip
【代码】SGLang 中 AMD GPU 内核源文件后缀分析：.cu vs .hip。
2026-10-31 01:16:57
239
原创 sgl-kernel 项目的演进：不同时间点的角色与去向
sgl-kernel经历了独立顶层包 → 并入→ 成为统一 kernel 命名空间中的一个后端的演进。它的源码位置、包名、与主sglang的耦合方式都发生了变化，但核心使命——为 SGLang 提供 AOT 编译的自定义 CUDA/HIP 算子——始终未变。决策原因把sgl-kernel从顶层移到与主 Python 包同树开发，减少版本错位；统一命名空间改名sgl-kernel→明确这是 SGLang 官方 AOT kernel wheel，避免与历史sgl-kernel混淆退役消除。
2026-10-31 01:15:24
364
原创 关于 LLM 预训练代码的开源
如果前面的表述让人以为“原厂参考代码通常只是推理代码”，需要补充：原厂代码的开放程度差异很大，既有只给推理 demo 的，也有把数据预处理、预训练、微调、评测和中间 checkpoint 都公开的。
2026-10-30 20:36:18
317
原创 开源模型原厂参考模型代码、HF transformers 和 SGLang/vLLM 模型代码的关系
通过auto_map允许 Transformers 加载这些代码。此时运行的不是 Transformers 包内置的，而是模型仓库提供的 Python 文件。由于这会执行外部代码，必须审查来源和内容。
2026-10-30 20:30:07
271
原创 在sglang 中退役的 rtx 2080 Ti 上张量并行跑LLM
核心是 RTX 2080Ti 上编译 sgl-kernel ，这里是完整记录目标：在双卡 NVIDIA RTX 2080Ti（Compute Capability 7.5 / sm75）+ CUDA 12.8 + PyTorch 2.9.1+cu128 环境下，从源码编译sgl-kernel，使其包含 sm75 cubin，从而让 sglang v0.5.7 能在该硬件上运行。
2026-10-30 14:06:06
316
原创 一次性并行生成 的思考
为了接受你的“注定”前提，假设采用贪心解码，或者采样时的随机种子也已固定。设输入为 (x)，最终生成：自回归模型的解码规则是：根据输入 生成 y1根据输入 + y1 生成 y2根据输入 + y1 + y2 生成 y3……因此，第 (t) 个 token 的计算图明确依赖于前面的 token：这条依赖链不会因为结果确定而消失。即使你有无限多处理器，执行这个特定计算图时，也不能在 (y_2) 尚未算出来时，精确计算那个“以 (y_2) 为输入”的 (y_3)。
2026-10-29 21:41:33
125
原创 全文 - Improving Language Understanding by Generative Pre-Training
自然语言理解涵盖多种多样的任务，例如文本蕴含、问答、语义相似度评估以及文档分类。尽管大规模无标注文本语料库非常丰富，但用于学习这些特定任务的有标注数据却很稀缺，这使得经过判别式训练的模型难以取得令人满意的表现。我们证明，通过在多样化的无标注文本语料库上对语言模型进行生成式预训练，再针对每个具体任务进行判别式微调，可以在这些任务上取得显著提升。与以往的方法不同，我们在微调过程中使用了任务感知的输入变换，从而在只需对模型架构进行最小改动的情况下实现有效的迁移。
2026-10-29 21:39:48
240
原创 Qwen2.5-14B-Instruct-AWQ 模型文件结构分析
项目配置模型系列Qwen2.5参数量14.7B（README）/ 约 14B类型层数48隐藏维度5120注意力头数MLP 中间维度位置编码RoPE，基频 1e6归一化RMSNorm注意力偏置有（QKV bias）上下文长度训练 32K，最大可扩展到 131072（需 YaRN）词表大小151643 BPE tokens + 特殊 token → config 中报告 152064量化存储精度反量化计算通常为 FP16/BF16推理建议推荐 vLLM。
2026-10-29 16:39:19
316
原创 全文 - SGLang: Efficient Execution of Structured Language Model Programs
大语言模型（LLM）正越来越多地用于需要多次生成调用、高级提示技术、控制流以及结构化输入/输出的复杂任务。然而，目前缺乏能够高效编程和执行此类应用的系统。我们提出了SGLang，一个用于高效执行复杂语言模型程序的系统。SGLang 由一门前端语言和一个运行时组成。前端语言通过用于生成与并行控制的原语简化了编程；
2026-10-28 19:29:42
282
原创 从源码 安装sglang
代码修改会立即生效，通常所说的“debug 版本”在源码开发场景下就是指这种模式。（尤其是编译内核时），或者需要构建带调试符号的版本，可以通过以下方式控制输出和构建选项。可能还不够，因为内核编译是由 CMake 或构建后端控制的。如果构建的是 SGLang 的 C++/CUDA 内核（如。），用于查看依赖解析、构建后端调用等底层细节。参数可以逐级增加日志详细程度，部分构建后端也支持通过环境变量。本身就是 SGLang 的。输出更底层的编译命令。
2026-10-28 19:27:50
137
原创 SGLang 的组成结构与基本工作原理
以及。两者可以独立使用；现在大多数部署场景主要使用 SRT，通过 OpenAI 兼容接口提供模型服务，并不需要使用前端 DSL。
2026-10-28 19:16:12
209
原创 全文 - DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
通用推理是人工智能领域长期存在的重大挑战。近年来，大语言模型（LLMs）与思维链（Chain-of-Thought, CoT）提示技术的突破，在基础推理任务上取得了显著进展。然而，这些成功在很大程度上依赖于大量人工标注的演示数据，且模型在更复杂问题上的能力仍然不足。在本文中，我们证明了大语言模型的推理能力可以通过纯强化学习（Reinforcement Learning, RL）来激励，从而无需人工标注的推理轨迹。所提出的强化学习框架能够促进高级推理模式的涌现发展，例如自我反思、验证和动态策略调整。
2026-10-28 18:31:10
291
原创 `ibv_get_device_list` 实现分析
是 libibverbs 向用户程序暴露的入口，用于返回当前系统上所有可用的 RDMA 设备列表。扫描内核暴露的 RDMA / uverbs 设备信息；加载并匹配用户态 provider（驱动插件）；为每个匹配到的设备创建；返回一个以NULL结尾的数组。用户最终通过释放该数组。
2026-10-28 13:12:07
189
原创 调试 MLNX_OFED 中 rdma-core UMD 代码的方法
只想调 UMD 代码：用本地编译，最干净、源码路径完整保留。必须系统级安装：用install.pl时设置和，但要注意源码目录会被清理的问题。
2026-10-27 20:25:18
343
原创 MLNX_OFED 源码补齐、Debug/Release 构建命令与修改记录
原归档中的29 个源码项目已全部解压并纳入 Git。另外补充了multiperf和ofed-docs两个同版本项目。27 个项目已完成 Release 和 Debug 双配置构建。所有10 个内核项目均已完成双配置构建，包括。已校验54 份产物清单、268 个构建产物的 SHA256。81 个新包、0 个删除包、无依赖错误。没有实际安装 OFED，没有替换当前网卡驱动，也没有启用 OpenSM。
2026-10-27 13:54:53
377
原创 Slingshot 简介
这篇文章系统介绍并评测了 Cray/HPE 的Slingshot 互连网络，重点分析其架构特性、拥塞控制、QoS/流量类以及在实际 HPC 和数据中心应用中的表现。Slingshot 在保持以太网兼容性的同时，通过高基数交换机、自适应路由、硬件端到端拥塞控制和可调流量类，显著降低了拥塞和网络噪声对应用的影响，性能隔离能力远优于上一代 ARIES 网络。性能：在Exascale规模的实际系统表现中（TOP500性能份额）已超越InfiniBand，证明了其足以支撑最严苛HPC/AI负载的能力。生态与成本。
2026-10-26 14:14:24
239
原创 光学OCS（Optical Circuit Switching，光电路交换）简介
在Scale-up（纵向扩容，通常指机柜内或节点内GPU/xPU间的高速互连）网络中，
2026-10-26 12:38:13
288
原创 MLNX_OFED_SRC 24.10-5.1.6.1：从源码构建、安装全面 Debug 版的分析
本文仅记录分析结果；研究过程中没有运行安装器、编译或安装任何软件。
2026-10-26 04:31:13
163
原创 全文 - AMBA AXI 协议规范 v1.0
本章介绍 AXI（Advanced eXtensible Interface，高级可扩展接口）协议的架构及其定义的基本事务（transaction）。1.1 关于 AXI 协议1.2 架构1.3 基本事务1.4 附加特性五个独立的 channel（通道）各自由一组信息信号组成，并使用双向的 VALID 和 READY handshake（握手）机制。信息源使用 VALID 信号表示 channel（通道）上的有效数据或控制信息可用。目的端使用 READY 信号表示它可以接受数据。
2026-10-26 04:30:03
129
原创 全文 - Understanding RDMA Microarchitecture Resources for Performance Isolation
近年来，RDMA 在云端得到广泛采用，以加速第一方工作负载并通过释放 CPU 周期来节省成本。现在，云服务提供商正致力于在通用访客虚拟机中支持 RDMA，以使第三方工作负载受益。为此，云服务提供商必须提供强大的性能隔离，以确保一个租户的 RDMA 工作负载不会对另一个租户的 RDMA 性能产生不利影响。尽管人们在公共云中的网络性能隔离方面做出了许多努力，但我们发现，由于 RDMA 复杂的网卡微架构资源（例如网卡缓存），它带来了独特的挑战。在本文中，我们旨在系统地理解 RNIC 微架构资源对性能隔离的影响。
2026-10-24 19:37:06
335
原创 InfiniBand（verbs 语义下）UC/RC 的 send/receive、write、read 端到端梳理
下面按"结构创建 → 各类操作的完整数据通路 → 关键机制"的脉络，把 InfiniBand（verbs 语义下）UC/RC 的 send/receive、write、read 做一次端到端梳理。全文以硬件（HCA/RNIC）+ verbs 驱动协同工作的方式来讲，重点放在你关心的 QP/CQ/MR 创建、doorbell、send–receive 配对维护等机制上。
2026-10-22 21:47:53
175
原创 IB Specification Vol 1 Chapter 3 体系结构与 rdma-core-2410mlnx54 实现关联分析
消费者构造 WR）→libibverbs 通过 cmd path 将 WR 传递给内核ioctl或write到ib_uverbs内核 RDMA 驱动将 WR 写入硬件 WQE 队列HCA 硬件解析 WQE，进行虚拟地址→物理地址转换（使用 L_Key/R_Key）构造报文：添加 Transport Header（BTH 等效：QPN、PSN、Opcode）、Network Header（GRH，如需要）、Link Header（LRH）计算 ICRC/VCRC，通过物理端口发送Switch。
2026-10-22 21:46:48
92
原创 全文 - Astranomy: An empirical study of GPT-6 Astra as a native robot policy
通用大模型能否、又是否应当作为机器人策略？本研究将 GPT-6 Astra 作为面向语言条件的通用操作原生策略进行系统评估，其动作表示与时域上下文均在推理时指定。：无脚手架直接生成动作；：在持久化 Codex 会话中作为智能体运行；：作为监督者，将动作生成委托给机器人基础模型（RFM）。本报告研究了哪些因素能够实现可靠的闭环执行，以及由此带来的性能是否值得承担通用推理的延迟与 Token 成本。我们在完整的 RoboLab-120[1]基准上报告结果，并在 30 个任务的子集上进行聚焦消融实验。
2026-10-22 13:37:19
183
比利时的 鲁汶大学 计算机系教授 Philip Dutré 的全局光照教程，和他与合作者在 2002年 SIGGRAPH ppt
2022-09-17
LLVM IR MLIR: Scaling Compiler Infrastructure for Domain Specifi
2022-05-06
SSA_LLVMCookBook_DirectMethodSparseLinearSystem
2022-05-05
bootia32.efi
2018-04-07
chisel官方教程20201010版本.7z
2020-10-11
带几何解释的线性代数讲义
2020-12-02
英中双语版_flex与bison_pdf.7z
2020-11-03
Digital Design With Chisel_20201010edition.7z
2020-10-11
llvm_cookb_LLVM_IR骨架语法领进门资料.7z
2021-04-25
FIRRTL_spec_2020Oct_EditionPDF.7z
2020-10-19
Downloads.zip
2020-07-21
chi-SPECS-IN-ALL
2026-07-24
chi back protocol
2026-07-23
Full Bandwidth broadcast, reduce and scan with only - Logic Synthesis and Verification Algorithms
2025-11-15
ACPI spec 4.0 and 3.0
2024-08-24
bash-shell matrix-computations llvm-cook loader-linker sparse-ma
2024-01-23
Linux kernel 高并发开发
2024-01-14
mpi学习教程等-都志辉-配合下文https环境搭建
2023-12-29
代数多重网格理论资料 AMG AMGX原理
2023-09-28
opencl 学习资源pdf and source code
2023-05-22
常用数值算法集C语言与 Numerical Methods Using Matlab 4th Ed Mathews
2023-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人