烟云的计算

RDMA 高性能通信技术原理》

TP / DP / PP / EP / CP 来自训练场景，沿用到了推理场景，但两者有许多区别，因为推理场景中没有梯度和优化器状态等显存大户，取而代之的是 KV Cache。于是有的维度的含义被改写了，有的甚至几乎退场了，同时也新增了一些维度。TP：把每个权重矩阵都切分，每卡存一片、算一片，每层末尾合一次。EP：把 MoE 的专家分家，每卡只持有一部分专家，token 根据路由跨卡搬运。：把请求分组，每组独立调度、各管自己那批请求的 KV。CP：把一条序列切分，每卡算一部分 token，专治超长序列。

2025 年 5 月 16 日，AWS 正式开源了 Strands Agents，采用 Apache License 2.0 许可。这个项目在开源之前，Amazon Q Developer、AWS Glue 与 VPC Reachability Analyzer 三个产品线已经在生产环境使用它。Strands Agents 是一个 SDK 而不是一个平台。

让模型把较早的一段对话或一份长文档总结为更短的表述。通过不断总结，可以使对话记录的规模保持在较小的量级，既减少了词元数量，又只跟踪最重要的信息。其代价是每次摘要都是一次额外的模型调用，

注：之所以需要 CPU 主存，是因为当 GPU 显存不足时，就会把后来的请求先抢占掉，把其相关的 KV Cache 先 Swap（置换）到 CPU 主存上，等后续 GPU 显存充足了，再把它们加载回来。Scheduler 的主要作用是在 1 个推理阶段中，决定要把哪些数据送给模型做推理，同时负责分配好 KV Cache 的物理块 id，并做好逻辑块和物理块的映射。显然的，传统方式这会造成浪费，这些浪费严重限制了同时处理的请求数量（Batch Size），从而拉低了 GPU 的整体吞吐量。

所以变长数据的 KV cache 存储是一个比较大的难题。存在 KV Cache（KV 矩阵缓存）的原因是：Decode 阶段自回归生成时，历史 token 的 Key/Value 实际上是可以复用的，因此还可以省掉大量重复的计算。例如：批策略，量化类型，TP 大小，PP 大小，任务超时时间，重试时间，显存申请策略，RDMA 软硬件队列大小，是否可回退执行等。下一轮，只需要计算 “乐” 的 KV 矩阵值，前面轮次的 “新年快” KV 矩阵直接重 KV Cache 获得，然后和新的 KV “拼接” 到一起。

域与域之间的数据路径的顺序是：接入域收下请求，行动域开启新的一轮并冻结本轮中的不变量，上下文域装配输入，行动域调用模型并拿到行动意图，动作动作管控域在动作之前进行权限等和约束等判定，行动域执行实际动作，验证域在动作之后判定效果，最后回到行动域推进下一步或者收尾。（注意，行动域被动作管控域切成了两段。生产运维 Agent 则像是在做手术，每一刀都作用在真实的病人身上且无法撤销，因此真正的功夫全在动手之前，反复确认、分级授权、关键步骤必须有人复核，关口设在每一个动作的起点，事后还要留下完整的手术记录以备追溯。

官方文档特别提到 harness 是一个独立进程，而不是被编译进每个应用（IDE、CLI、Web）的库。

Codex 将沙箱与审批视为两个协同但相互独立的控制。沙箱由操作系统原生机制强制，分三档；审批策略决定何时必须中止并征询用户，有四种取值4。沙箱档位（含义read-only只读可写工作区，官方称之为低摩擦默认档无限制，仅在环境本身已经隔离时使用审批策略（含义untrusted最严，几乎每一步都需征询on-request默认，仅越界时征询on-failure仅在失败之后征询never从不征询二者组合构成一些常用的权限选项，例如：就是 “可写工作区+按需审批”。

本文从一个对比开篇：同样的模型，编码智能体能连续自交付，运维智能体却处处受限。一路走下来，答案已经清楚：差距不在模型，而在模型之外那一圈 Harness。如果把全文浓缩成一张图，就是那三个同心环。最内的一环是工具循环，它让智能体能动起来，却几乎没有壁垒；真正决定成败的，是外面两环：二环用"事前约束、循环执行、事后验证"的控制闭环，让它做得对、兜得住；三环用"沉淀"，让每一次使用都回流成组织越来越厚的能力。

也就是说，围绕该矩阵的计算量和显存占用量（Scaled、Masked、Softmax、乘 V 加权融合计算等等），会随 n 呈平方级增长，例如：如果 seq_len 变成原来的 2 倍，显存占用量就是原来的 4 倍，计算时间也是原来的 4 倍。但实际上，Child 等人（2019）的研究发现，在训练好的 Transformer 模型中，注意力矩阵往往是稀疏的，这意味着并不是每个 token 都需要关注其他所有 token，每个 token 只关注非常有限个其他 token。利用分页技术减少显存碎片化问题。

而是它会读这个资料，提取关键信息，然后把信息整合进已有的 Wiki 里，包括：更新相关实体的页面、修正主题摘要、标注新数据和旧结论的矛盾之处。Karpathy LLM-wiki 方案的核心思想是：不要把 LLM 当搜索引擎用，让它像程序员维护代码库一样帮你持续维护一个 Markdown Wiki —— 一个结构化的、互相链接的 Markdown 文件集合。现在主流的知识库（如 ChatGPT 文件上传、NotebookLM）都是基于 RAG 技术的：上传文档，提问，AI 检索相关片段，生成回答。

这种自定义 Skills 的过程，符合 Spec Coding “先思考后行动” 的思想，即：先详细定义可以执行的需求规范（Specification），然后再推动 AI 进行开发。它的流程包含 “需求分析、技术设计、任务拆解” 的文档编写过程，最后让 AI 根据规范来完成编码。这种一步步的工作流程能保证每一步都有依据，实现从需求到代码的准确转化。只要你安装了 skill-creator skill 之后，就可以和 Claude Code 聊天让它引导你创建一个自定义的 Skill 了。

和内置 summarize 的区别：内置的 summarize 是基于 CLI 工具（summarize 命令），Summarize Pro 是一套更丰富的摘要指令模板 + 历史记录管理。统计：显示原文 vs 摘要字数对比。历史记录：show summary history 回顾之前的摘要。自定义模板：create template 创建你自己的摘要格式。成就系统：统计你处理了多少字。适合场景：经常需要消化长文章、会议记录、技术文档，且想要 不同格式输出的。

所以后来，他们把 AGENTS.md 精简到了只有 100 行，将 AGENTS.md 定义为 “导航目录” 而非 “内容本身”，它指向了一个结构清晰的 docs/ 目录，里面有各类文档，包括：架构图、设计文档、质量标准、安全规范等等。把 AI Agent 放进一个循环里，给它一个目标，让它反复执行（编码、审查、测试、修复），直到这个 “准出” 为止。于是，他们设立了一个让 AI 循环清理的流程，把清理原则告诉 AI，然后定期扫描文档和代码，发现过时的描述或不一致的地方，就会自动发起 PR 来修复。

一份文档，明确规定 AI 可以自主做哪些事，哪些事必须先问你。✅ 可直接执行：- 心跳检查、文件整理、日志归档、记忆维护❌ 需要你批准：- 发送外部邮件、执行金融操作、部署代码、删除数据核心价值： 清晰的边界让你信任 AI 自主运作，也让 AI 知道自己的「管辖范围」在哪里。每周根据 AI 的可靠性表现，可以扩展它的自主权。

HR 是一个双重属性的岗位：一边要承接大量重复性执行工作，一边还要基于数据对比、深度分析，做出贴合组织需求的人才决策。：财务系统有账务数据，但银行流水与企业账目的核对往往是财务人员手动完成。：报销系统处理报销流程，但财务人员收到一堆发票图片需要整理时，系统可能不支持批量 OCR。：企业系统存储的是内部薪酬数据，外部市场薪酬数据需要 HR 自己搜索整理。：企业系统不会监控外部公司的人员变动，这是 HR 的主动情报工作。：财务系统有成本数据，但定制化的成本分析报告需要财务人员手动制作。

【代码】openclaw.json 配置文件解析。

OpenClaw 支持通过 CLI 来索引和搜索你的 MEMORY.md 文件，让它记住重要信息。OpenClaw 有一套斜杠命令系统，在聊天里直接输入 / 开头的指令就能使用。首次使用时的配置向导。

比如想抓取 https://example.com/article 的内容，只需要访问 https://r.jina.ai/https://example.com/article 即可，它就会返回干净的 AI 友好的 Markdown 格式内容，AI 读起来很舒服。KasmVNC 就是一个通过 VNC 协议的、基于网页的远程桌面服务，装上之后，你可以通过自己电脑的浏览器远程连接到云主机的桌面，直接看到 OpenClaw 正在操作的浏览器画面。本来是为开发者工具设计的，现在成了有头浏览器自动化的标准。

这里指的是 OpenClaw 应用本身的数据安全。值得注意的是，沙箱容器是延迟启动的，例如有用户在群 @OpenClaw “帮我查一下天气”，然后 OpenClaw 会检测到是非主会话，然后查看是否有该 agent 的容器，如果没有则自动创建并启动容器。目前最新的版本已经引入了 token 身份鉴权，所以要及时进行 OpenClaw 的更新，目前社区在加紧安全防护的开发。OpenClaw 功能强大但安全形势非常严峻，一旦 OpenClaw 被入侵，它会以极高的权限和极大的主动性完全接管你的 IT 环境。

可见 Channel 是轻量化的、驱动层化的，接入一个新的消息平台，只是多一个插件。你在Slack里讨论的工作内容、在 Telegram 里安排的日程、在 WhatsApp 里的个人对话，全部混在一起，形成了对你越来越完整的理解，以后完成任务也会越来越贴心。这个自我维护机制就把记忆给分层了，原始日志是短期记忆，每天的 MEMORY.md 是中期记忆，提炼出来的个性和喜好是长期记忆。在这里，token 的用量优化成为重要的考量，采用了 Skills 的架构，动态加载和技能相关的描述和细节。

AgentTeams 让多个 Claude Code 实例在同一个窗口中一起工作，它们都有独立的上下文窗口，彼此间可以互相通信、共享同一个任务目标，互相分工协作，甚至通过 “对抗式讨论” 来验证各自的判断。所以高质量的 CLAUDE.md 文件在 AgentTeams 中至关重要，这是所有 Agents 共享的 “员工手册”，定义了共同遵守的 “宪法”，比如代码目录架构、代码规范、架构决策和测试标准等等。当某个队友完成了其他任务所依赖的任务后，这些被阻塞的任务会自动解锁，不需要人工干预。

解决问题的初心创造价值的使命持续学习的精神。

只要规则文档清晰、准确，AI 就能更稳定、更高效、更持久、更广泛地发挥。BMAD-METHOD（Breakthrough Method of Agile AI-Driven Development，敏捷 AI 驱动开发的突破性方法），是一套明确约束人和 AI 如何协作的开发方式。软件工程方法论，指用于指导、管理和执行 “软件需求、设计、开发、测试、交付、运维” 的过程的结构化方法、框架、原则和实践。并且，在 BMAD 的设计里，不要把 AI 当成 “万能助手”，而是把 AI 当成多个有分工的角色。

优先采用描述动作的动词。例如：充当、分析、分类、归类、对比、比较、创建、描述、定义、评估、提取、查找、生成、识别、列出、测量、组织、解析、选择、预测、提供、排序、推荐、返回、检索、重写、选择、显示、排序、总结、翻译、写作。这对 Agent 而言很重要，因为生成更多的 token 意味着更多的算力消耗、成本和生成时间，而且 LLM 生成有时候会特别的啰嗦，完全是无效的浪费。根据目的和作用的不同，可以将 Prompt 分为以下几种类型，LLM API 可以认识这些 Prompt 的类型，并且执行相应的操作。

Claude Code 作为一个 Agent，本身就是一个 MCP Host，所以可以安装和管理 MCP Server 和 MCP Client，最终再通过 MCP Server 和真实的 Service Provider 进行交互。默认的，当你重新进入 Claude Code 时，默认会创建一个新的会话，在新会话中你看不到之前会话的历史记录。为了更好的区分不同的会话，还可以在进入会话之后输入指令。另外，LLM 的 Context Windows 是有限的，所以当一个会话的上下文太多了，可以执行指令。

在 Agent 启动时，会将每个已安装 Skills 的 name 和 description 预先加载到其 System Prompt 中，使得 Agent&LLM 知道什么时候使用哪个 Skill，而不需要将这个 Skill 都加载到 Prompt 中，从而节省了 token。如下图所示，一个 Skills 的本质就是一个包含了 SKILL.md 文件的目录，其中包含了编写好的 Metadata、Instructions、Scripts、Resources 等内容。

OpenClaw 很酷，大家都应该用起来。对于小白用户，建议使用云主机方式进行使用，月费几十块钱即可。对于程序员、IT 工程师，建议直接在主力机器上使用，以求效率最大化，前提是我们能够完全控制它。这篇文章讲得就是如何在主力机上安全的使用 OpenClaw。

LLM 会不断根据 Pretrain 学到的基础知识和 SFT 学到的解题能力去解答练习，然后人类作为老师批改 LLM 的练习，来让 LLM 反思错误的解题方式，不断强化正确的解题方式。

为了使 LLM 能够获得泛化的指令遵循能力，需要收集大量多种类型的 “指令-响应对” 来对 LLM 进行 SFT，同时也需要相对较大的指令数据量。所以严格的讲，针对 LLM 的 Multi-task SFT 采用的是 “指令微调” 方法，数据样本是由用户手动撰写的高质量 “指令-响应对”。如果要使 LLM 支持多轮对话，就需要在 SFT 时将指令数据样本构造为多轮对话的格式，目前绝大部分 LLM 均使用了多轮对话的指令数据样本来进行 SFT。

涌现能力是目前业界和学界对 LLM 保持较高的热情和关注的核心所在，即虽然 LLM 目前的能力、所能解决的任务与人类最终所期待的通用人工智能还存在不小的差距，但在涌现能力的作用下，我们相信随着研究的不断深入、高质量数据的不断涌现和更高效的模型架构及训练框架的出现，LLM 终能具备通用人工智能所需要具备的能力，从而给人类生活带来质变。使其成为了一个更通用的模型，适用于更广泛的应用，包括但不限于文本生成、翻译、摘要、问答、编程辅助等，还增加了对于长文本的处理能力和更好的泛化能力。

例如：句子 The animal didn’t cross the street because it was tired，其中 it 和 animal 的关联必然最大，其权重也最大，it 的语音单元必然包含 animal 的信息，如此的 Decoder 就知道了代词 it 指代的是名称 animal 而不是其他词，翻译为 “动物”。由于深度神经网络中每一层的输入都是上一层的输出，因此多层传递下，对网络中较高的层，之前的所有神经层的参数变化会导致其输入的分布发生较大的改变。

值得注意的是，Sequence Model 的 “历史记忆” 和 Hopfield Network 的 “联系记忆” 有本质的区别，“联想记忆” 并不适用于处理序列数据，而 “历史记忆” 的目标是发现序列数据中的模式和依赖关系，从而进行预测、分类，甚至生成新的序列。如下图所示，RNN 和 FFN 结构的主要区别就是 RNN 引入了一个循环结构，RNN 在每个时间步（t）处理一个序列元素时，不仅会接收当前的输入，还会接收来自上一个时间步（t-1）的隐藏状态（Hidden State）。

文本摘要（Text Summarization）就是根据文本内容生成一段简洁准确的摘要，来概括原文的主要内容。抽取式摘要（Extractive Summarization）：通过直接从原文中选取关键句子或短语来组成摘要。优点是摘要中的信息完全来自原文，因此准确性较高。然而，由于仅仅是原文中句子的拼接，有时候生成的摘要可能不够流畅。生成式摘要（Abstractive Summarization）：不仅涉及选择文本片段，还需要对这些片段进行重新组织和改写，并生成新的内容。

Hugging Face（https://huggingface.co/）和魔塔社区（https://www.modelscope.cn/home）是著名的 2 个开源模型和开源数据集的网站，此外还有 OpenDataLab（https://opendatalab.com/）、智源数据平台（https://data.baai.ac.cn/dataset）等等，我们可以在这些网站上下载许多知名的开源数据集。通常的，我们需要考虑数据集采样配比的问题，将不同类型的数据（如新闻、百科、代码等）按合理比例混合。

数据预处理：Megatron-LM 提供了 preprocess_data.py 预处理脚本，将原始文本数据转换为 Megatron-LM 所需的 token 化二进制格式，支持高效加载。DeepSpeed 的核心技术是 ZeRO 技术，它可以克服数据并行和模型并行的局限性，同时实现两者的优点，它是将模型划分为状态参数、梯度、优化器状态来降低内存冗余，提升显存利用率。以 GPT 为例，模型参数包括。注意，多机训练的时候，启动容器时不能指定 --net host，会导致 NCCL 通信时报错。

所以在本文的推理实践中采用了 NVIDIA 官方发布的 NVFP4 量化模型 nvidia/Qwen3-30B-A3B-NVFP4，总参数量 30B、单次激活参数量 3B 的 MoE 模型，可以最大化发挥硬件的内存与算力优势，是 PGX 的理想应用场景。在模型开发的日程工作中离不开性能剖析的工作，尤其是 Nsight System 和 Nsight Compute 这两款 NVIDIA 性能剖析工具的使用，这些工具都被预先安装在 PGX 上了，我们可以方便的通过 GUI 桌面进行使用。

微调是指在已经训练好的大型预训练模型的基础上，进一步训练该模型以适应特定任务或特定领域的数据。尽管完全微调可以对模型的能力进行深度改造，但要带入模型全部参数进行训练，需要消耗大量的算力，且有一定的技术门槛。由于微调需要消耗大量的显存，因此参数规模超过 30B 的大模型往往无法在 32GB 消费级 GPU 上运行，但却可以轻松在拥有 128GB UMA 的 PGX 上随时进行。其中，GGUF 是大模型的存储格式，可以对模型进行高效的压缩，减少模型的大小与内存占用，从而提升模型的推理速度和效率。

例如下边示例图左边的 Self-attention 模块，通过对比分析后得出，对 Self-attention 这块做重算的收益是非常高的，因为它的计算量相对会少一点，但它的一些中间结果输出占用的显存开销非常大。其次，使用比较多的是 Zero-2 和Zero-3。为了解决内存开销大的问题，微软提出了 ZeRO，可以根据不同的程度充分将优化器状态（os）、梯度（g）和模型参数（p）切分到所有的 GPU 中，也就是不同的 DP Group 中会存储不同的优化器状态、梯度和参数切片。