ZhangJiqun&191cm&85kg

在现代大语言模型（如 LLaMA、GPT-4、Qwen）中，假设模型有 32 层（Layers），每一层有 32 个注意力头（Attention Heads），总共就有 32×32=102432×32=1024 个头。拆解：① 层级（从底到顶）怎么分工、② 同一层里的注意力头（从左到右）怎么分工、③ 它们到底是怎么自动学会分工的。

Claude 4.7 的 Web Search 使用分两种场景：在 Cursor 中，依赖 Cursor 自身的搜索工具，通过 @Web、自然语言或 Agent 模式触发；在 Anthropic API 中，则需显式声明 web_search_20250305 工具并配置参数，按次数计费。两者机制不同，不可混淆。Cursor 环境统一接口，三家模型（Claude/GPT/Gemini）均走其自研搜索；而原生 API 各自独立，接口、定价与搜索源差异显著。关键技巧：用 @Web 强制触发、@Docs 查官方文

DeepSeek的CED方案基于“高层间差异趋小”的第一性原理：底层语义变化剧烈，需逐层计算；上层理解趋于稳定，仅需微调。因此，CED用线性投影替代上层重复的KV计算，仅保留第20层输出作为基准，大幅压缩显存占用。在100万token上下文场景下，传统方案需370GB KV缓存（超显存），而CED降至850MB，使单卡并发用户数提升4倍。结合持久化存储优化，真正实现大上下文推理的可行性，尤其适用于代码、Agent等高吞吐场景。

CED（Conditional Execution with Decoupled KV）的核心思想是：模型上半层与下半层生成的KV高度相似，因此无需逐层计算，直接用第20层的隐藏状态 $H_{20}$ 通过预训练权重矩阵 $W_{21}, W_{22}, \dots$ 一步投影出各层KV，大幅降低计算量与缓存开销。 传统模型需逐层执行注意力和MLP，每层计算量约16B参数操作；而CED仅需一次矩阵乘法（约0.1B），计算量节省超160倍，缓存大小从3472字节降至890字节，效率提升显著。

MoE-MLP通过将标准MLP复制为多个专家，并引入可训练的Gate门控实现稀疏激活。每个输入token经Gate打分（线性层+softmax）后，仅激活Top-K个专家（如Top2），其余专家跳过计算，显著降低算力消耗。专家权重独立训练，分工由“越干越专、越专越有活”的正反馈机制自发形成，而非人工指定。每层拥有独立的Gate与专家，支持灵活路由。训练时，梯度通过可导的softmax概率反传至Gate，结合负载均衡损失防止专家失衡。整体结构替换Transformer中的FFN层，实现高效扩展。

CED的移植性分三层：原始KV（C₂₁）不可移植，因与模型深度绑定；架构思路可移植但需重训；事后改造可行但有损。训练中，前向生成投影向量C₂₁，反向传播时20层注意力梯度叠加至C₂₁，迫使H₂₀提前编码远端信息，实现“为检索而优化”的表征学习。工程上通过跨阶段通信与状态管理保障高效执行。

CED 通过非对称架构将模型分为编码器与解码器，读入长文本时仅激活一半参数（8B），并共享全局KV，大幅降低prefill成本；CSA2则通过分层稀疏注意力与跨层索引复用，减少每层重复挑选开销。二者结合实现长上下文下极低的KV cache（890字节/token），显著提升Agent任务效率。

PIS（Prompt Importance Sampling）将提示压缩重构为基于注意力分数的重要性采样问题，利用LLM自身注意力权重作为token重要性代理，在句子级与token级双层进行采样式删冗。通过小型编码器增强注意力信号，结合9层轻量RL网络学习“保留/删除”策略，以回答质量与压缩率联合优化。无需摘要生成，无幻觉风险，成本低、效果佳，实现高效精准压缩，是长上下文处理中兼具理论深度与实用价值的创新方案。

本文系统解析了Transformer块内部计算逻辑，涵盖自注意力与MLP子层的数据流：输入向量经Q/K/V投影后生成注意力分数，通过Softmax归一化并加权融合V输出，再经投影矩阵（Wo）融合多头信息、映射回原维度，结合残差连接与LayerNorm后进入MLP进行独立非线性处理。重点指出，删除某token的K/V缓存仅影响其后续上下文注意力权重，不改变模型参数；对MLP的影响取决于被删token的注意力权重——高权重者影响显著，低权重者几乎无感。最后强调，Projection的核心作用是整合多头输出、实现

KV cache压缩通过丢弃不重要token的Key/Value、量化存储或合并相似向量，有效缓解长上下文推理中的显存瓶颈。主流方法如H2O（保留重要与最新token）、StreamingLLM（固定锚点+滑动窗口）和KIVI（int4量化）均无需重训，即插即用。关键在于：注意力计算本身因softmax自动归一可容忍删减；但位置编码（RoPE）需重排缓存内位置以避免外推失败。正确实现下，压缩可显著降低显存占用，支撑超长上下文生成。

软压缩（soft compression）的核心是：**把一段长文本，用一个训练好的编码器压成极少数几个"压缩向量"（soft tokens），再把这些向量喂给大模型当输入，替代原始文本。** 人看不懂这些向量，但模型能读懂。

双向编码器（如BERT）在编码时可同时利用前后文信息，实现全局语义理解；单向编码器（如GPT）仅能依赖左侧历史，具备自回归生成能力。核心差异在于是否使用因果掩码：前者无掩码，能“看到”全句；后者加掩码，只能“前瞻”。因此，双向适合分类、检索、重排等理解任务，单向则擅长生成、对话等需逐词续写的应用。本质区别在于：理解要完整上下文，生成要避免“偷看未来”。

大模型响应速度差异源于两大工程黑科技：推测解码与分块预处理（Chunked Prefill）。前者让小模型“猜”未来文本，大模型快速验证，减少重复计算，提速2-3倍；后者将长输入拆分处理，避免预处理独占GPU，实现多请求并行，缓解“卡顿”。二者协同，显著提升吞吐量与用户体验，彰显系统优化的真正竞争力。

大模型时代的两大核心战场——后训练对齐与高效推理，正成为算法工程师的护城河。前者通过SFT、RLHF/GRPO等技术提升模型智能与行为对齐，解决“知道但做不对”的问题；后者聚焦量化、稀疏化与系统优化，实现低成本、低延迟推理，关乎商业化成败。二者兼具学术深度与工程价值，需跨领域复合能力，难以被替代，是2026年AI竞争的关键壁垒。

提出一种纯统计、query-agnostic的静态前缀压缩方案，解决现有query-aware压缩方法与prefix caching的根本冲突。通过将压缩问题形式化为预算约束下的单调次模最大化，采用覆盖-多样性目标函数与cost-benefit贪心算法，实现(1−1/e)近似保证。筛选出截断归一化n-gram稀有度、领域层IDF和静态锚点NPMI三类独立指标，避免冗余与误用，并推荐infini-gram后缀数组词库方案。构建缓存感知评测协议，明确该路线在确定性、可审计性与缓存共存场景中的不可替代生态位。

先声明边界：下面五个机制是真实的神经科学发现，但从它们推不出任何具体的压缩公式。它们提供的只是「重要性是多因素加权的」这个结构性直觉。任何声称从脑科学「推导」出压缩算法的说法，都是过度声称。

一句话：**以前的 LLM 是孤胆英雄，自己想自己说；现在的 Agent 是项目经理，要指挥一堆系统协同干活。而管理一堆系统协同干活，恰恰就是分布式系统的本职工作。**所以 Salman 说"AI Agents 说到底就是分布式系统"——不是比喻，是字面意义上的事实。你用训练模型的思维去构建它，就会踩分布式系统的所有坑；你用分布式系统的思维去构建它，很多问题就有现成的解法。

- 空出大脑想清楚的东西，**不要急着做重大决定**。底层记忆被唤醒后，往往会带来强烈的情绪和改变的冲动，先让它沉淀一两周。- 用**小步行动**去测试：想换方向，先做一个小项目试试；想离开某种状态，先试着独处一周；想追求什么，先花一个周末做起来。- 记住：**思考的目的不是"想通"，而是"活成"**。你想明白了但不去做，那个"明白"很快就会被日常的洪流淹没。

论文SKILL.state，如何降低长程Agent的token消耗，核心思想是将历史对话压缩为结构化状态，以恒定上下文长度运行，大幅降低成本并提升准确性。 摘要应简明概括：问题（长任务token成本爆炸）、方案（SKILL.state以状态转移代替全历史）、效果（token降约16-50倍，准确率提升）、适用场景。需控制在150字内。 生成摘要。</think>论文提出SKILL.state架构，解决长程Agent

关键动作：把提示词从 .py 里 externalize 出来（放模板文件或 prompt registry），优化器优化"提示词工件"而不是"整份脚本"。这样才可版本化、可回滚、可 A/B——这是所有下面做法的前提。

Nginx是高性能HTTP服务器/反向代理工具，用于负载均衡、HTTPS加密等。没有它时需直接暴露后端服务，存在性能弱、端口冲突等缺点。Kubernetes是容器编排平台，管理多机Docker集群，实现故障自愈、弹性扩缩。单机环境无需K8s，徒增复杂度。建议：1）个人内网使用直接用Python原生服务；2）对外开放时加Nginx提升安全性和性能；3）多GPU服务器集群场景再考虑K8s。单服务器部署优先保持简单。

介绍了HTTP端口80与8080的区别，以及常见的代码部署方案。 端口区别部分： 80端口是HTTP协议默认端口，浏览器访问不带端口的网址时会自动连接80端口 8080是常用的替代端口，普通用户可直接使用 端口使用规则包括数值范围、不可重复占用、防火墙配置等 代码部署方案部分： 轻量同步方案（rsync/SCP/SSH可视化工具） Git驱动部署（WebHook自动部署/GitHub Actions） 容器化部署（Docker/Docker Compose） 生产级工具（Ansible/Jenkin

一套提升 分析系统能力的14项技术方案，重点解决当前存在的分析深度不足、数据样本小、根因推测为主等问题。

本文分析了LLM（大型语言模型）应用中三种不同的命令执行方式：生成命令（A）、结构化工具调用（B）和返回自由JSON/文本（C）。A方式灵活但安全性低，直接输出shell命令；C方式结构化但灵活性差，需自行解析JSON；B方式结合两者优点，通过结构化工具调用实现安全高效的操作。文章还介绍了其他技术如JSON模式、受限DSL等，并根据不同场景推荐适用方案。最后指出当前仓库中存在两种执行路径：shell命令依赖外部环境执行，而结构化工具调用通过LangChain框架实现，后者更规范安全。

TextGrad框架如何借鉴深度学习思想，通过自然语言处理优化系统提示词。该框架将提示词设为可优化变量，让大语言模型(LLM)扮演三个角色：预测模型生成结果、裁判模型评估错误并给出改进建议、优化器根据建议重写提示词。实现过程包括：1)定义提示词变量；2)模型预测并比较正确答案；3)生成文本形式损失反馈；4)反向传播改进建议；5)优化器在约束条件下更新提示词；6)测试新提示词并择优保留。实验显示，仅1轮迭代就使分流准确率从83%提升至94.87%，验证了该方法的有效性。

控制平面（大脑，管控整个集群）1. **etcd**：集群唯一数据库，存所有集群状态、配置数据2. **kube-apiserver**：唯一入口，所有操作（创建服务、删Pod）都走它，权限校验3. **kube-controller-manager**：各类控制器，负责保证实际状态=你定义的期望状态（容器挂了就重建）4. **kube-scheduler**：调度器，决定把容器调度到哪一台服务器节点

**为什么是里程碑**：这是 Nature 主刊上首篇专门做"LLM 幻觉检测"的方法学论文，也是牛津 OATML（Yarin Gal 是贝叶斯深度学习和不确定性估计的领军人物）把**经典贝叶斯不确定性**理论**成功迁移**到 LLM 自由生成场景的代表作。

表征工程（RepE）通过直接读写大模型中间层的残差流实现"脑机接口"式干预，其科学性基于线性表征、叠加性和因果控制三大假设。该领域经历了从探针观察到向量编辑的发展，SAE技术成为特征解耦的关键工具。当前面临非线性表征干预、控制可信度和因果验证等挑战，但RepE为大模型安全性和可解释性提供了新路径，结合提示词压缩技术有望重塑大模型推理架构。SAE作为核心工具，能解析叠加特征，实现模型思维的透明化控制。

**大模型的安全机制只认识“人类语言”对应的正常向量。软压缩为了省空间，造出了一种模型没见过的“外星向量”。这种外星向量虽然能传递信息，但完美绕过了模型的安全检查，导致模型变笨（对齐失效）或者变坏（被越狱攻击）。**

文章摘要： 提示词压缩（Prompt Compression） 旨在解决大模型长上下文处理中的算力与成本问题，通过信息冗余削减提升效率。其演进经历了软提示、硬压缩、学习式压缩和任务感知蒸馏四个阶段，核心挑战包括位置编码敏感性、分布外灾难和KV语义不透明。未来方向为可解释的软压缩与表征工程结合。 表征工程（Representation Engineering, RepE） 通过直接干预模型中间层的残差流向量，实现对大模型行为的精准控制。其基础为线性表征假设、叠加性和因果控制三大支柱，发展脉络从探针观察到向量编

全局工作空间理论 (Global Workspace Theory, GWT) 最早由认知科学家 Bernard Baars 在 1980 年代提出，是目前主流的意识理论之一。它用一个"剧场"比喻大脑：

探讨了语言模型激活向量干预范式的演进。传统方法（如ITI、CAA等）采用固定方向向量进行干预（h' = h + α·v），但研究发现这种单一方向仅能解释15%的位移方差。通过实例分析（如真实性引导、情感调节等场景），作者揭示了固定方向会导致数学能力下降、过度拒绝等问题。 新范式提出上下文自适应变换，包括三种实现方案： 查询路由动态组合多个子空间向量（CD-MSRE采用） 输入依赖的线性变换矩阵 多头门控机制（类似MoE） 核心突破在于认识到语义变换本质是高维分散的，需要根据输入内容动态调整干预方向和强度

**2026年大模型技术全景速览：闭源与开源阵营集体升级，形成明显代差。OpenAI GPT-5.5、Anthropic Claude 4.8和Google Gemini 3.5等闭源旗舰在基座重训、多智能体架构和原生多模态等方面取得突破；开源阵营中DeepSeek V4、Qwen 3.5等首次接近闭源天花板，提供高性价比选择。文章重点推荐了7类可本地部署的开源模型（如DeepSeek-R1、Qwen 3.5系列），并给出Ollama和llama.cpp两种部署工具的硬件适配方案，最后通过四个典型场景展示了

Anthropic团队提出了一种名为Jacobian Lens（J-lens）的新工具，用于探测语言模型内部的"可被言说却未说出口"的表征子空间（J-space）。研究发现，J-space的行为与神经科学中的"全局工作空间理论"惊人地相似，具备可言说性、灵活可用性、广播性和容量有限等特征。通过实验验证，J-space确实承担着模型内部的"工作记忆"功能，能够影响后续推理却不一定会体现在输出中。这一发现对AI可解释性、安全性和意识研究具有重要意义，为理解模型"内心活动"提供了新视角，同时也为未来Agent设计

通过一个简化示例（3维隐藏层和4组对比提示）详细解释了如何在大语言模型中实现「事实性表征增强」。核心流程包括：构造事实/非事实提示对，计算隐藏向量差值，通过PCA提取主方向（如(0.33,0.67,-0.67)），并将其以可调强度α叠加到初始隐藏状态（如从(0.5,0.3,0.2)增强到(1.5,2.3,-1.8)）。该方法通过向事实方向偏移隐藏表示，显著提升模型输出的真实性。文中还阐明了协方差矩阵的特征分解与PCA降维的关系，指出主成分分析本质是提取数据变化最大的方向。整个过程将高维隐藏空间（实际数千

这篇文章通过一个学生成绩的简化案例，直观解释了PCA（主成分分析）的核心思想与应用方式。作者用5名学生的数学、物理和体育成绩构建3维数据矩阵，经过中心化处理后计算协方差矩阵，提取出最大特征值对应的主方向向量(0.55,0.60,-0.58)，将其解释为"理科综合能力↔体育偏向"轴。这个例子生动展示了PCA如何从多个样本中提炼出最主要的共同变化模式，而非简单平均。文章最后将该案例与事实性论文研究进行类比，说明两者都运用PCA从多维数据中提取最具代表性的主方向向量，从而捕捉数据中的关键结构特征。全文通过具体数值

Cursor的全权限模式，本质是把“安全控制权”完全交还给用户。对于熟悉AI行为、能把控代码风险的开发者来说，它能把AI编码的效率提升一个量级——从“一步步指导”变成“全自动交付”；但对于新手、或者处理重要项目时，多一层弹窗确认，就多一层安全垫。

本文系统梳理了2023-2026年主流的长文本提示词压缩方案。随着大模型上下文窗口的扩大，压缩需求反而更迫切，主要解决成本、延迟和注意力涣散问题。文章将压缩技术分为六大类：文本层的选择式、摘要式和检索式压缩；表征层的Soft Prompt和Memory Token压缩；以及底层的KV Cache压缩机制。每类方案详细介绍了核心思想、代表工作、优缺点和适用场景，并提供了可运行的代码示例。特别强调现代RAG技术的关键升级点，如混合搜索和重排序策略。文章指出，即使面对百万级上下文窗口，合理压缩仍是平衡性能与成本的

多Agent和Skill本质属于不同抽象层，不应直接比较。Skill是静态无状态资源，被Agent消费；而多Agent是动态有状态的运行时实例。

Cursor Skills 基础指南摘要 Cursor Skills 是一种可被 AI 按需加载的"能力包"