- 博客(128)
- 收藏
- 关注
RSS订阅
原创 一文看懂大模型推理为什么需要多卡：从 TP、DP 到 Runtime 的完整演进
大模型推理需多卡并非为线性加速，而是为解决模型容量、用户负载与长上下文等核心问题。TP/PP/EP/CP等并行策略本质是“分账”：拆得细省显存读取，但通信开销上升。如TP2虽减半权重读取，却引入每层两次AllReduce，净收益取决于“省时”与“通信耗时”的差值。在单请求、小batch下，推理严重受限于带宽（Memory Bound），算力利用率极低。因此，多卡不等于更快，关键在于优化数据移动与提升GPU利用率——真正的加速来自对通信、调度与内存管理的精细设计。
2026-10-15 14:55:00
367
原创 “优化 KV Cache”到底在优化什么？vLLM、SGLang、Strata 优化的是三个不同的维度
本文揭示“优化KV Cache”实为三个独立维度：维度A（怎么存）——通过量化、布局等节省显存；维度B（怎么共享）——利用前缀缓存减少重复计算，vLLM用链式哈希，SGLang采用细粒度基数树（Radix Cache）；维度C（怎么放）——将超长上下文卸载至内存/存储，论文版Strata在此发力。三者收益不可互换，混淆会导致误判性能提升。实测表明，vLLM与SGLang的前缀命中率因统计口径不同无法直接比较。选型应依场景：短上下文重共享（B），长上下文重分级（C）。
2026-10-12 04:13:34
532
原创 一文讲透推理引擎性能指标：TTFT、TPOT、KV命中率、并发，到底对应 vLLM / SGLang 的哪个参数？
本文系统解析推理引擎性能指标与参数的映射关系，提出“三层框架”：A类（可调参）、B类（仅可观测）、C类（引擎外）。以TTFT为例，揭示其受token预算、chunk切分、前缀缓存等多因素影响，对应vLLM的--max-num-batched-tokens与SGLang的--max-prefill-tokens等参数。强调吞吐与延迟互为权衡，需固定一维调参。指出TPOT、ITL等延迟指标无直接旋钮，须通过压测观测。最后提醒：GPU算力指标（如SM占用）属引擎外，需用ncu/DCGM获取，避免误查。
2026-10-09 03:07:59
824
原创 终章实战｜300 行纯 Python 代码，手把手带你手搓一个生产级 Coding Agent
本文基于300行纯Python代码，手把手实现一个生产级Coding Agent，摒弃复杂框架，聚焦核心三要素：确定性工具执行、真实反馈回流与严格上下文控制。通过安全命令执行、精准Patch补丁、行号分页读取与Token预算裁剪，构建可闭环运行的ReAct状态机，有效解决幻觉修复、暴力覆写与上下文爆炸等实战痛点，真正实现“分析-执行-验证”自动化闭环。
2026-09-14 00:48:23
984
原创 一文讲透AI算力单位：TFLOPS、PFLOPS、TOPS、稀疏算力，到底怎么算、怎么比？
本文深入解析了AI芯片算力单位的核心概念，包括FLOPS（浮点运算）和TOPS（整数运算）的区别，以及不同计算精度（FP32、FP16、FP8等）对算力数值的影响。文章指出，芯片厂商常通过降低精度（如从FP32到FP4）使算力数值翻倍，但实际应用中需权衡精度与模型效果。此外，"结构化稀疏"技术可使理论算力翻倍，但需模型权重相应优化。文中以RTX 5090和NVIDIA H100为例，展示了同一芯片在不同模式下算力数值的差异，并提醒读者注意厂商宣传中的"数字游戏"。最后对比了主流AI芯片的算力数据，强调理解这
2026-07-27 16:11:59
677
原创 AI 工程师知识地图：模型格式、框架、部署工具一次讲明白
AI 工程师知识地图摘要 本文系统梳理了AI开发全流程技术栈，通过分层架构帮助读者建立清晰的知识框架： 模型训练层：PyTorch（动态图调试友好）和TensorFlow（工业部署成熟）是两大主流框架，其中PyTorch凭借生态优势成为大模型训练事实标准。 模型微调层：LoRA技术通过低秩矩阵分解实现轻量微调，仅需更新0.1%-1%参数，使消费级显卡微调大模型成为可能，推动Hugging Face生态繁荣。 模型存储层： Safetensors：Hugging Face推荐的纯数据安全格式，支持零拷贝加载
2026-06-30 19:18:15
382
原创 Hermes vs OpenClaw：基于源码的 Agent Loop 全面分析
本文对比分析了Hermes和OpenClaw两款AI Agent的核心架构与实现差异。虽然两者都基于ReAct循环，但技术栈选择（Python vs TypeScript）导致了执行模型的根本不同：Hermes采用同步线程模型，而OpenClaw基于异步事件流。文章通过代码仓库数据、架构层次和时序图揭示了二者在并发处理、LLM调用等方面的技术差异，并指出它们实质上是继承扩展关系——Hermes旨在解决OpenClaw的会话间记忆短板。关键发现包括：1）语言选择直接影响Agent Loop设计；2）OpenC
2026-06-10 19:19:54
577
原创 中小企业跑125B 大模型：从部署、压测到调优的完整操作手册-Strata
本文为中小企业部署125B级大模型Qwen3.8-Flash-Next Q2_0的完整操作手册，基于RTX 5090实机验证。涵盖硬件评估、容器化部署（避过glibc与seccomp陷阱）、模型校验、启动就绪判定、冒烟测试、五类压测方法及结果解读。重点揭示内存需≥60GB（非仅显存）、无AVX512-BF16则退至AVX-2内核等关键细节，提供真实命令与故障排查路径，确保从零到可用可复现。
2026-10-26 16:52:54
390
原创 中小企业跑125B 大模型：18GB 显存之差，到底值多少吞吐
本文通过同一台设备上两轮对比实验，揭示18GB显存差异对125B大模型吞吐量的决定性影响。结果显示，显存从14.2GiB增至31.8GiB后，专家缓存覆盖率由23.5%升至79.5%，命中率从86.5%跃升至99.7%，导致解码吞吐量从140.6 tok/s提升至256.2 tok/s（+82%）。核心发现：显存不足引发的1% PCIe溢出，代价高达39%性能损失，凸显“显存即吞吐”的关键瓶颈。
2026-10-26 16:45:35
345
原创 中小企业跑125B 大模型：显存装不下的时候，Strata 做了什么
当显存无法容纳125B级MoE模型时，Strata通过将专家权重分层存储于显存与主机内存之间，将“显存不足”转化为“带宽调度问题”。其核心机制是：以固定开销预留约700MiB，剩余空间按每槽1.318MiB分配给专家缓存，最大支持19,530个槽位（占总量约79.5%）。性能不再依赖算力，而取决于缓存命中率与数据搬运效率。实测显示，显存占用率恒达97.8%，但实际吞吐差异由“缓存外专家比例”决定——真正影响速度的不是占用率，而是缓存覆盖率。
2026-10-26 16:37:15
420
原创 Run:ai 开源了，我把 GPU 编排摆回 AI 栈里看了一遍
NVIDIA开源Run:ai，标志着GPU编排从闭源走向公共层。它并非替代Kubernetes，而是解决AI场景下“谁用卡、用多久、如何共享”的核心问题，涵盖Gang Scheduling、GPU切分、配额管理等关键能力。其底层依赖CUDA原生分片，实现显存硬隔离。本质是将控制面开放，争夺算力调度话语权——真正价值不在代码，而在定义AI基础设施的资源分配标准。
2026-10-14 02:27:10
533
原创 transformer你不学？09｜完整 Transformer：从零手搓迷你版
本文手搓一个2.1万参数的迷你Transformer，基于PyTorch内置模块完整实现Decoder-only架构。通过词嵌入、位置编码、因果掩码注意力与自回归生成，端到端训练并成功学习循环序列规律，验证了大模型核心机制的可复现性——结构同构，规模可变，真正“从零理解大模型”。
2026-10-14 01:38:26
124
原创 transformer你不学？08｜Decoder 块：掩码注意力与自回归生成
本文详解Decoder核心机制：通过因果掩码实现单向注意力，确保训练时模型仅依赖过去信息，避免信息泄露。掩码将未来位置置为负无穷，使softmax后权重为0，保障生成的自回归性。训练可并行，生成需串行循环，逐词预测并拼接输入。代码实操展示掩码构造与自回归生成流程，揭示GPT“打字机式”输出的本质——一切源于一个上三角掩码矩阵与逐token生成逻辑。
2026-10-14 01:37:33
79
原创 transformer你不学？07｜Encoder 块：残差、归一化与前馈网络
本文详解Transformer Encoder块的核心结构：通过残差连接保障深层梯度流动，LayerNorm稳定各层分布，前馈网络（FFN）承担主要参数与非线性计算。对比Pre-LN与Post-LN，揭示现代模型普遍采用Pre-LN以实现数十层稳定堆叠。代码实证10层无NaN输出，验证结构可靠性，并指出FFN参数量约为Attention的两倍，是模型容量关键。
2026-10-14 01:36:22
74
原创 单卡5090跑125B 大模型：从安装、验证到基准测试的完整操作教程
本文详述在RTX 5090（32GB VRAM）上部署125B大模型Qwen3.8-Flash-Next IQ3_S的全流程，涵盖硬件检测、环境配置、安装选型、断点续传、启动验证与基准测试。重点强调静默失败陷阱：解释器污染、路径格式错误及环境变量干扰，并提供可复现脚本与实测输出。通过冒烟测试四接口通联、四类基准评估，结合调优清单与误读澄清，确保用户从零到跑通完整闭环，实现高效、稳定的大模型本地化运行。
2026-10-10 00:28:25
746
原创 单卡5090跑125B 大模型：Strata 把服务器级 MoE 拉进普通 PC
Strata引擎首次实现单卡RTX 5090运行125B级MoE大模型（Qwen3.8-Flash-Next IQ3_S），通过分层驻留（Spill）机制将83.6GB权重分置显存、内存与SSD，利用MoE稀疏性突破显存瓶颈。实测显示，专家缓存命中率高，结合投机解码实现1.6–1.8倍加速，但性能受带宽与内容可预测性影响。部署中暴露出解释器污染、数据损坏等深层问题，揭示本地化部署的工程复杂性。该技术标志着服务器级模型正式进入消费级PC时代。
2026-10-09 04:43:36
627
原创 transformer你不学？06｜多头注意力：八个视角看世界
多头注意力把向量切成 h 份并行做注意力——参数量不变、视角翻倍、GPU 一次算完，用"批量并行"实现了"多视角表达"。
2026-10-09 02:49:31
242
原创 transformer你不学？05｜自注意力机制：QKV 的魔法
本文详解Transformer核心——自注意力机制，通过QKV三矩阵类比检索系统，揭示“查询-匹配-加权聚合”的本质。结合20行代码实现缩放点积注意力，解析√d_k的必要性与softmax行归一化原理，辅以数值验证和热力图可视化，直观展现模型如何捕捉上下文依赖。强调缩放、维度、归一化等关键细节，为多头注意力铺路。
2026-10-09 02:45:21
149
原创 transformer你不学？04｜位置编码：让模型知道词的顺序
本文详解Transformer中位置编码的作用与实现。由于自注意力机制对输入顺序无感，需通过位置编码显式注入序列信息。文章对比了论文原版的正弦编码（具平移一致性、唯一性）与GPT风格的可学习编码，并通过代码验证其性质。强调位置编码是模型理解语序的关键，缺失将导致严重性能下降。最后介绍RoPE等进阶方案，为长文本处理提供支持。
2026-10-09 02:44:31
230
原创 transformer你不学？03｜Embedding：让文字变成向量
Embedding将无语义的Token ID转化为可训练的高维向量，使语义相近的词在向量空间中距离更近。其本质是可学习的查表操作，通过余弦相似度衡量语义距离。训练后，向量能实现如“king - man + woman ≈ queen”的语义运算，为大模型理解奠定基础。
2026-10-09 02:39:16
430
原创 transformer你不学？02｜Tokenizer：从文本到 Token 的第一次转换
Tokenizer是大模型处理文本的第一步，将文本转化为数字序列（token → ID），核心采用BPE算法，按频率合并子串，实现高效分词。它直接影响上下文长度、成本与多语言公平性。通过encode、convert_ids_to_tokens、decode三件套可完整闭环验证，确保decode(encode(x)) == x。中文因词表优化不足易被切碎，应选用Qwen等中文友好模型。掌握Tokenizer是控制成本、调试输出的基础。
2026-10-09 02:36:32
210
原创 transformer你不学？01｜环境准备与 Transformer 全景图
本文介绍Transformer取代RNN的三大优势：并行计算、长距离依赖与记忆瓶颈的突破。通过14篇连载，从环境搭建、分词器到手搓Mini Transformer，层层递进。实测验证torch 2.12.0+cu130与transformers 5.15.0环境，运行首个自检脚本确认自动求导正常。全景图展示“文本→Token→向量→生成”的数据流，为后续实战打下基础。
2026-10-08 03:36:08
146
原创 一文看懂 Agent：大模型、工具、MCP、技能、记忆，到底谁是谁、怎么配合干活？
本文通俗解析Agent核心概念：它不是聊天机器人，而是能自主完成任务的智能体。核心由大脑（大模型）、手（工具）、规划员、记事本（记忆）、说明书（技能）和统一接口（MCP）组成。关键在于“思维-行动-观察”循环（ReAct），大模型只负责决策，真正执行靠工具；MCP则提供标准化接口，降低外部能力接入成本。理解这五要素与三层结构（零件、接口、循环），就能看懂Agent如何协同“干活”。
2026-09-24 16:53:28
482
原创 pytorch你不学？15｜项目实战：整理一个可复用训练模板
本文介绍如何构建一个可复用的PyTorch训练模板，涵盖数据、模型、训练、评估与推理的职责分离。通过清晰的项目结构（如datasets.py、models.py、config.py等）和模块化设计，实现配置集中管理、代码复用与快速迭代。适用于本地Windows环境下的小型分类任务，提升开发效率与工程规范性。
2026-09-18 02:12:12
135
原创 pytorch你不学？14｜常见报错排查与调试技巧
本文系统梳理PyTorch常见报错的排查与调试技巧，强调“先缩小问题范围，再精准定位”的工程思维。聚焦高频错误：设备不一致、维度不匹配、dtype错误、模型结构与权重不一致、DataLoader返回格式异常等。提出“6项优先检查清单”——打印shape、dtype、device、grad、requires_grad及数据加载格式，快速定位根源。倡导将调试视为训练的一部分，通过最小可复现片段、逐步收窄问题空间，提升排错效率，避免盲目修改或复制搜索。核心理念：报错本质是张量属性（shape/dtype/devi
2026-09-18 02:11:06
218
原创 pytorch你不学？13｜推理脚本与本地部署
本文详解PyTorch模型推理脚本的编写与本地部署，强调训练与推理在目标和结构上的差异。通过一个最小可运行的MNIST推理示例，演示如何加载模型权重、统一预处理流程、使用model.eval()和torch.no_grad()提升效率与稳定性。文章指出，本地部署首步是构建可复用的独立推理脚本，为后续命令行工具、本地API服务打下基础，核心在于保持输入处理一致性与代码模块化。
2026-09-18 02:09:55
59
原创 pytorch你不学？12｜GPU、混合精度与训练加速
本文详解PyTorch中GPU加速与混合精度训练（AMP）的核心原理与实践，涵盖设备管理（device）、模型与数据同源、autocast自动精度调度及GradScaler梯度缩放机制。通过真实代码示例，展示如何在CPU/GPU环境下实现兼容性训练，并强调“工程正确性即加速”的理念。建议先稳定基础训练流程，再逐步引入GPU与AMP，避免调试混乱。
2026-09-18 02:08:35
127
原创 pytorch你不学？11｜迁移学习：基于 torchvision 预训练模型
把一个模型在旧任务上学到的知识，迁移到新任务上继续使用。主干网络使用预训练参数收束时一层分类头替换成适合你当前任务类别数的新层然后根据需要选择：只训练分类头或进一步微调整个模型像resnet18这类模型，原始设计通常对应 ImageNet 的 1000 分类任务。1000如果你自己的任务只有 2 类、5 类、10 类，就必须把收束时一层换掉。前面的特征提取主干保留收束时分类头改成适配你自己的类别数不让这些参数参与梯度更新训练时保持它们不变为什么要冻结？更容易过拟合。
2026-09-17 01:26:05
14
原创 pytorch你不学？10｜模型保存、加载与断点续训
本文详解PyTorch模型保存与断点续训核心实践：推荐使用state_dict()保存模型参数，实现轻量、兼容性好的权重存储。区分“推理用模型”与“续训用checkpoint”两类场景，强调后者需同步保存优化器状态、epoch、指标等信息。通过实例演示模型保存、加载流程，并强调加载前必须重建一致的模型结构。适用于本地Windows环境下的真实项目训练管理，确保实验可复现与中断恢复。
2026-09-17 01:24:43
265
原创 pytorch你不学？09｜验证集、指标与过拟合处理
本文详解PyTorch中验证集、评估指标与过拟合处理，强调仅看训练集表现不可靠。通过划分训练集、验证集和测试集，明确各自职责：训练集用于参数更新，验证集指导调参与模型选择，测试集做最终客观评估。重点讲解准确率计算、loss与accuracy协同分析，并介绍数据增强、正则化、早停等防过拟合策略。附完整训练-验证模板代码，帮助实现从“能训练”到“会判断质量”的进阶。
2026-09-17 01:23:26
94
原创 pytorch你不学？08｜卷积神经网络 CNN 入门
本文详解卷积神经网络（CNN）在图像分类中的核心优势，对比全连接网络的局限性，系统讲解卷积层、池化层、通道数与特征图概念。通过构建最小可运行的CNN模型，演示如何利用nn.Conv2d和nn.MaxPool2d实现MNIST分类，并手推各层输入输出形状变化，帮助读者建立对图像空间结构的深层理解，为后续复杂视觉模型学习打下坚实基础。
2026-09-17 01:22:06
266
原创 pytorch你不学？07｜分类任务：手写数字识别
本文基于PyTorch 2.12.0，结合MNIST手写数字识别任务，完整演示了图像分类的实战流程。通过torchvision加载数据，使用DataLoader批量处理，构建全连接模型并实现前向传播、损失计算与反向优化。重点讲解了Tensor形状变换、分类输出维度（10类）、准确率计算等核心概念，并在Windows环境下验证了CPU/GPU双路径运行。代码结构清晰，可直接复现，是掌握深度学习项目全流程的首个实战范例。
2026-09-17 01:20:54
191
原创 pytorch你不学？06｜完整训练循环实战
本文详解PyTorch完整训练循环实战，涵盖模型、损失函数、优化器与DataLoader的协同流程。通过最小可运行示例，演示前向传播、损失计算、反向传播与参数更新四大核心步骤，强调optimizer.zero_grad()的重要性，并以二分类任务为例，展示训练循环在真实项目中的通用性与实现逻辑，帮助读者掌握从理论到落地的关键能力。
2026-09-17 01:19:04
265
原创 pytorch你不学？05｜Dataset 与 DataLoader 数据管道
本文详解PyTorch中Dataset与DataLoader的数据管道机制，强调其在真实训练中的核心作用。通过自定义ToyDataset示例，演示如何实现__len__和__getitem__方法，并结合DataLoader完成批量读取、打乱顺序等操作。文章指出，数据管道是模型训练稳定性的关键，尤其在Windows环境下需注意num_workers设置。最终构建起“数据源→Dataset→DataLoader→训练循环”的标准化流程，为后续图像、文本等复杂任务奠定基础。
2026-09-17 01:17:38
86
原创 pytorch你不学？04｜用 nn.Module 搭建第一个网络
本文详解 PyTorch 中 nn.Module 的核心作用，手把手教你构建首个神经网络。通过 __init__() 定义层结构，forward() 规划数据流，实现从输入（10维）到输出（2维）的全连接网络。重点讲解参数自动登记、模型设备迁移、结构查看等实战技巧，并结合流程图直观展示数据流动路径，为后续训练与复杂模型打下坚实基础。
2026-09-17 01:15:01
102
原创 pytorch你不学？03｜自动求导与反向传播
本文深入解析PyTorch自动求导与反向传播机制，详解requires_grad、计算图、.grad与backward()的核心作用。通过实例演示梯度如何在前向传播后自动反向传递，并解释梯度累积、参数更新原理及常见问题排查。结合真实训练场景，揭示“模型为何能学习”的底层逻辑，帮助读者掌握深度学习训练的核心驱动力。
2026-09-17 01:13:55
111
原创 pytorch你不学？02｜Tensor 与张量基本操作
本文系统讲解PyTorch核心数据结构——Tensor，涵盖其shape、dtype、device三大关键属性，通过创建、变形、索引、计算与设备迁移等操作，揭示张量在数据输入、模型推理、损失计算与梯度反传中的全流程作用。结合真实项目场景与最小可运行示例，帮助读者建立对张量的直觉理解，掌握常见错误排查方法，为后续深度学习实战打下坚实基础。
2026-09-17 01:13:07
157
原创 走向 Memory OS：企业私有化 Agent 设计与实现
本文探讨企业私有化Agent平台建设的核心——Memory OS，指出单一Agent无法解决跨系统协作问题。随着Agent数量增加，需构建统一身份、工具、记忆与工作流的平台，实现组织级状态共享。文章强调：当多个Agent需共同读写用户、项目或决策状态时，才需引入Memory OS；否则仅为过度设计。其核心管理四类长期记忆：主体认知、任务状态、操作规程与事件记录，真正实现企业智能体的连续性与协同能力。
2026-09-12 23:39:55
327
原创 构建企业级 DevOps 排错 Agent：从日志告警到自动化修复 PR
🔸DevOps Agent 的核心价值是将 MTTR 从数十分钟压缩到秒级；🔸坚持 GitOps 规范：严禁直接操作生产实例，所有动作走独立分支与 PR 审批；🔸自动打通 Metrics → Logs → Traces → Code Patch 的因果链条；🔸测试全绿是提交 PR 的唯一红线。《走向 Memory OS：构建企业私有化 Agent 中台的终局方案》！
2026-09-08 01:50:56
842
原创 Claude Code 与 Hermes Agent 深度拆解：顶级 Coding Agent 为什么都放弃了纯 Chat 模式？
顶级Coding Agent放弃纯Chat，因软件工程需操作真实环境。终端CLI模式通过PTY虚拟终端、精准局部Patch、AST索引和子代理派发，深度融合本地Git与测试，以真实环境操作与测试终态为标准，实现从“建议”到“参与开发”的升级。
2026-09-08 01:47:58
500
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人