Wanderer X-优快云博客

原创 MiniMax-H3（ref2va）架构与推理方法笔记

本文的"实测"指在单张 80 GB 显存卡、官方 diffusers 实现上跑出来的读数；"估算"会单独标注。未经实测的推断不写成结论。

2026-10-26 20:40:57 275

原创 DINO 自监督学习详解

BN 依赖当前 batch 的统计量，教师与学生各维护一套统计量，EMA 时需额外同步，否则教师前向行为与学生不一致，破坏"教师是学生平滑历史"的语义。：目标检测领域的 DINO（DETR with Improved DeNoising Anchor Boxes）是另一个同名模型，采用 ResNet/Swin 骨干 + Transformer 编解码器 + 预测头，引入对比去噪训练与混合查询选择，与本文的自监督 DINO 并非同一工作。，用"学生模仿教师"的方式训练 ViT，全程不需要标签。

2026-10-22 14:27:27 275

原创扩散模型的三种预测目标：噪声、score 与速度

采样的钥匙是 score，它未知但可学；Tweedie 公式把 score 与最优去噪连成一体，是训练目标的理论基石。噪声、score、速度、干净样本是同一个量的四种参数化，互为线性函数，选择改变的是训练难度分布与表达便利性，不是模型上限。你听过哪几个名字，取决于你接触的叙事：score 活在论文里，噪声活在图像生成的科普里，速度活在 flow matching 的话语里——它们背后是同一座山。

2026-10-20 12:50:52 332

原创【AIGC】常见数据量

绝大多数论文说"200k"指的是，也就是的有效视频。下面按这个理解讨论。

2026-08-29 16:00:42 375

原创【LLM】qwen3-vl

Qwen3-VL 是一个系列:Dense+ MoE(A3B = 激活 3B)。本文以为例展开,其他尺寸只是层数/维度不同,架构完全一致。

2026-07-27 14:49:54 189

原创【AIGC】信息输入方法

多层堆叠（类似一个小型Transformer decoder），每一层都重复"self-attn + cross-attn + ffn"。——如果VLM输出100个token，MLP之后还是100个token，只是每个token的维度变了。去"查询"VLM输出的hidden states，从中提取信息，同时query之间还会做。（通常是固定长度、匹配维度的token序列，用于cross-attention）。（有的版本还会与文本做联合的self-attention）。最简单粗暴：对VLM输出的。

2026-07-14 16:31:07 453

原创【LLM】qwen3.5-9b

—用 recurrent 累加的方式近似 attention，形式类似 Mamba / RetNet。配置里的 “9B” 主要来自巨大的 vocabulary embedding（248K token）。，不是 cross-attention。——只有 full_attention 层能提供 attention weights。，之后统一走文本 backbone 的 self-attention。，一种 state-space 类似 Mamba 的机制）。（占 9B 里的约 5%）。

2026-07-07 19:23:03 460

原创【ML】rope

概念直觉类比数学本质位置编码的作用让模型"感觉到"顺序把位置信息注入Q/K的点积运算RoPE的操作把箭头绕圆心转个角度2D旋转矩阵RθR(\theta)Rθ相对位置性质只关心"隔多远"，不关心"在哪"点积化简后只剩cos⁡α−βcosα−βα−βm−nωα−βm−nω单一频率的缺陷只有秒针，转一圈后无法区分第60秒和第120秒周期性导致大位置差撞车调小ω的代价只有时针，分不清1点01分和1点02分。

2026-07-06 20:16:31 205

原创 Wan2.2 TI2V-5B

TI2V= Text-Image-to-Video，即文本+图像到视频的统一生成模型。Wan2.2-TI2V-5B 是阿里通义万相团队发布的 5B 参数量的密集（Dense）视频生成模型，同时支持纯文本驱动和图文联合驱动的视频生成。Wan2.2 视频生成系列共有3 个模型任务架构显存定位TI2V-5BT2V + I2V 统一5B Dense + 高压缩VAE(64倍)22-24GB消费级/快速T2V-A14B纯文生视频MoE 27B总/14B激活80GB企业级/极致质量I2V-A14B。

2026-06-26 15:07:24 561

原创 joint attn

Self-attention 是同一序列内部交互；cross-attention 是一个序列单向读取另一个序列；joint attention 是多个序列或模态拼在一起，在统一注意力空间中共同交互。方法适合场景优点缺点单模态、单序列建模简洁、强大、通用不能天然融合外部序列条件生成、encoder-decoder计算较可控、方向明确、易插入预训练模型多为单向融合，交互不够充分多模态理解、多源融合、复杂推理融合充分、双向交互、架构统一计算贵、训练难、模态干扰风险高单纯文本建模。

2026-06-24 11:44:52 181

原创 ViT 为什么可以对任意维度的图像进行编码？

用固定大小的"剪刀"把图像剪成数量不等但大小相同的 patch，Transformer 天然能处理长度可变的序列，再配合位置编码插值，从而实现对不同尺寸图像的灵活编码。真正的前提保障则是预处理阶段的 Resize 或 Padding。

2026-06-14 15:42:17 251

原创 qoder cli

【代码】qoder cli。

2026-06-11 14:47:32 659

原创 qwen版本

技术特性首次引入版本说明SFT + RLHFQwen v1基础对齐方法DPO / PPOQwen1.5替代纯 RLHF，提升偏好对齐MoE 架构激活参数 2.7B，大幅降低推理成本GQAQwen2分组查询注意力，提升推理效率SwiGLUQwen2替代传统激活函数RoPEQwen2旋转位置编码Qwen2.5统一多语言词表18T 数据规模Qwen2.5预训练数据从 7T 翻倍至 18TThinking / Instruct 分离Qwen3-2507。

2026-06-08 17:14:41 667

原创【LLM】Codex

如果轮次仍在运行，则复制最近已完成的输出。后按 Enter，从弹出的线程选择器中选择目标线程，Codex 会切换到该线程，让你检查或继续那个 agent 的工作。来启动 Goal 模式，Goal 是一个持久目标，Codex 会持续为之努力，直到完成任务、暂停，或需要更多输入为止。，确认路径是已存在的绝对目录后，Codex 会刷新 Windows 沙盒策略，为该目录授予后续命令的读取权限。后从已保存的会话选择器中选择，Codex 会重新加载该对话的完整记录，让你从中断处继续，原始历史保持不变。

2026-05-26 23:21:44 741

原创【LLM】OPD

也叫 Mode-Seeking。于是就出现了一个矛盾：训练时 Student 看到的是"完美的 prefix"，推理时它看到的是"自己可能犯错的 prefix"。：这是最主流的应用，用 70B、405B 级别的大模型作为 Teacher，蒸馏出 7B、13B 级别的小模型，使其在对话、推理等任务上尽量接近大模型的能力。：Student 生成了错误的 prefix 时，Teacher 会在这个错误的上下文上给出指导，Student 能学到"走偏之后如何纠正"，这是 Off-Policy 完全无法做到的。

2026-05-21 16:33:31 557

原创【LLM】ROLL

ROLL（）是阿里巴巴/蚂蚁集团开源的分布式强化学习训练框架，专为大语言模型（LLM）后训练设计。它支持 PPO、GRPO 等主流 RL 算法，核心目标是高效、稳定地完成 RLHF（基于人类反馈的强化学习）流程。Actor（策略模型）、Critic（价值模型）、（冻结的参考策略）、（奖励模型）。

2026-05-21 16:30:15 501

原创【面试】HR

算法岗位的 HR 面（人力资源面试）通常是面试流程的最后一环。与技术面侧重考察你的代码能力、数学基础和模型理解不同，

2026-05-20 20:07:06 378

原创【CV】ViT

模拟 FPN，配合 Masked Attention 等技巧让 ViT 处理高分辨率输入，在 COCO 上证明了非层次化 ViT 也能做到很好的检测性能。这条路线后来在 SAM 等工作中被采用。第三条是。

2026-05-20 13:49:44 411

原创【LLM】AR/Diffusion

为什么在实际体验中我们总觉得自回归很快？因为工业界对自回归进行了堪称榨干硬件的工程优化。比如流式传输（Streaming）：自回归是每吐出一个词就能立刻让用户看到（流式交互），虽然总生成时间长，但用户的“首字延迟（TTFT）”极低，体感很流畅；而扩散模型在完成最后几步去噪之前，整个序列都是处于语义模糊的“噪声状态”，无法做到真正的流式输出，用户必须坐在屏幕前死等TTT步迭代彻底结束，才能一口气看到完整的文本。这也是为什么在追求极致响应的文本交互中，自回归依然是绝对的主流。

2026-05-19 18:17:17 991

原创【LLM】CC

Claude Code 是 Anthropic 发布的一款智能体编码工具（Agentic Coding Tool），它有一个"智能体循环"（Agentic Loop）——可以规划并执行动作以完成目标，能调用工具、评估结果并持续运行直到任务完成。[1]它是一个能读取代码库、跨文件修改代码、运行测试并提交代码的自主编码系统。对于没有工程背景的构建者来说，它是一个此前从未有过的软件开发入口。[3]

2026-05-19 12:40:58 404

原创【LLM】Qwen

与此同时，Qwen 在这一阶段形成了完整的专用模型矩阵——Qwen2.5-Coder（代码）、Qwen2.5-Math（数学）、Qwen2.5-VL（视觉语言）等，其中 Qwen2.5-Math 使用了万亿规模的数学语料，Qwen2.5-Coder 则利用了 5.5 万亿 token 的代码语料。Qwen3 的关键创新是将思考模式（用于复杂的多步推理）和非思考模式（用于快速的上下文驱动响应）集成到统一框架中，消除了在不同模型（如聊天优化模型和专用推理模型）之间切换的需求。

2026-05-19 11:31:18 697

原创【LLM】Deepseek

版本参数规模架构类型上下文长度核心创新V17B / 67B密集 Transformer4K基线模型，类 Llama 结构V2236B总/21B激活MoE + MLA128KMLA（KV缓存压缩）+ DeepSeekMoEV3671B总/37B激活MoE + MLA128K无辅助损失负载均衡 + MTP + FP8训练V41.6T总/49B激活1M混合稀疏注意力 + 超连接 + Muon优化器。

2026-05-19 11:28:08 717

原创【LLM】code agent bench

Benchmark任务粒度规模核心特点HumanEval函数级164题最早基线，已接近饱和MBPP函数级~1000题众包入门题函数级+工具调用1140题真实库调用，Human-LLM协作构造函数级+竞赛题持续增长实时收集，无污染，多场景仓库级500题人工验证，业界标准仓库级1865题企业级难度，防污染设计仓库级1319+题（持续更新）全自动流水线，每月更新终端交互89题多步终端工作流，众包构造MLE-benchML工程75场竞赛。

2026-05-18 22:31:58 843

原创【LLM】LLaMA

版本发布时间参数规模架构类型上下文长度关键技术LLaMA 12023.027B~65B2KLLaMA 22023.077B~70B4KLLaMA 32024.048B~70B8KGQA全面应用, 15T训练数据LLaMA 3.12024.078B~405B128K超大规模(405B), 多语言LLaMA 3.22024.091B~90BDense + 视觉编码器128K原生多模态，轻量化LLaMA 3.32024.1270B128K。

2026-05-18 16:53:43 580

原创 UAPT介绍

模块 / 特征名称状态核心参数结构序列长度冻结EVA-CLIP (预训练)用户嵌入向量 (User Embedding)4可学习查询向量 (Learnable Query)可训练16可训练5 层自注意力，8 个头输出视觉特征长度：16可训练5 层自注意力，8 个头输出固定大小的 Prefix 序列冻结。

2026-05-18 14:09:06 337

原创 STEVE

这篇论文主要对比了两个行业内非常有名的基线模型：AutoGPT 和 Voyager 。AutoGPT：这是一个自然语言处理自动化工具，主要依赖纯文本。它由 GPT-4 驱动，通过处理文本形式的智能体状态、环境反馈和执行错误来管理和执行子目标。Voyager：这是一个在《我的世界》中非常经典的智能体，同样使用 GPT-4。它的特点是具有长期的程序化记忆和一个代码技能库。但是，Voyager 完全依赖文本基础（textual grounding）来进行感知，很少甚至不强调视觉感知。简而言之，基线模型本

2026-05-18 11:22:31 440

原创【代码】hot100

【代码】【代码】hot100。

2026-05-16 23:53:59 79

原创【DL】公式速记

DDPM 是站在变分自编码器（VAE）和马尔可夫链的肩膀上推导出来的。在那个框架下，前向必须是马尔可夫链，后验推导极其依赖联合概率分解，因此不可避免地带入了随机项。在当时的理论框架内，DDPM 是非常严谨且完美的。DDIM 的作者跳出了马尔可夫的限制，发现只要边缘分布对齐，联合分布怎么构造都可以。这是一种对 DDPM 图模型的巧妙拓展。的定义以及优化目标均与 DDPM 完全相同。DDIM 的视角（2020末）：非马尔可夫的泛化。DDPM 的视角（2020）：概率图模型。(注：前向过程边缘分布、

2026-05-15 15:17:02 419

原创【VLM】Gated Attention, Gated DeltaNet

和是近期在长文本大模型（特别是探索ON线性复杂度的高效序列模型）中非常核心的架构创新。它们分别解决了传统 Transformer 在扩展上下文时面临的注意力坍缩（Attention Sinks）线性注意力记忆冲突（Memory Collisions）问题。

2026-05-15 14:14:39 524

原创【AIGC】Wan 系列介绍

Wan2.1 技术报告里最值得回味的一句话就是：“在同等参数规模下，实现了显著的性能提升。通过上述的架构重组，尤其是时间调制模块的“参数大挪移”，Wan2.1 团队成功地在 14B（140亿）参数的总预算中，硬生生抠出了几十亿的参数额度。他们把这些省下来的算力和参数，全部砸进了网络里负责理解画面的 Self-Attention 和负责听懂人话的 Cross-Attention 中。这就好比给一辆赛车做了极致的轻量化减重，然后把省下来的重量全换成了更大马力的发动机。

2026-05-14 16:41:36 405

原创【AIGC】Wan开源系列模型说明

模型后缀全称核心输入核心用途T2V纯文字纯粹的创意生成I2V图片 + 文字静态图动画化FLF2V起始图 + 结束图精准控制启停的视频补全VACE视频/图片 + 指令视频局部修改与高级编辑。

2026-05-14 15:45:05 451

原创【AIGC】VAE 3D-VAE

在时间序列建模中，“因果”意味着“结果只能由过去和现在的原因导致，绝不能受未来的影响”。在处理第ttt帧的数据时，网络只能接触到≤t\le t≤t的帧的特征，对t>tt的帧保持绝对盲区。特性维度2D VAE标准 3D VAE3D Causal VAE (当前 SOTA)空间压缩是 (例如 8x)是 (例如 8x)是 (例如 8x)时间压缩否(维持原帧数)是 (例如 4x)是 (例如 4x)帧间特征融合无，单帧独立有，对称融合有，严格向后（历史）融合画面连贯性 (抗闪烁)

2026-05-14 13:58:14 536

原创【LLM】RL基本概念

特性On-policy (同策略)Off-policy (异策略)策略关系行为策略 = 目标策略行为策略≠\neq目标策略数据利用只能用当前策略生成的新数据可以复用历史数据、专家数据经验回放池❌ 通常不需要 / 不能用✅ 必须使用 (Replay Buffer)样本效率极低（数据用完即弃）极高（数据反复压榨）训练稳定性较高（直接优化当前目标）较低（存在分布偏移、高估风险）公式示例Qsa←rγQs′a′Qsa←rγQs′a′(动作a′a'a。

2026-05-14 11:22:33 323

原创【入门】搜索

评估指标是面试中必考的基础，需要彻底理解其含义和局限性。对于一个搜索查询，每篇文档可以归为四类：精确率（Precision）——检索到的文档中，真正相关的比例：P=TPTP+FPP = \frac{TP}{TP + FP}P=TP+FPTP召回率（Recall）——所有相关文档中，被检索到的比例：R=TPTP+FNR = \frac{TP}{TP + FN}R=TP+FNTPF1 Score——P 和 R 的调和平均（调和平均对极端值惩罚更重）：F1=2⋅P⋅RP+R=2TP2TP+FP+FNF_1 =

2026-05-13 23:46:30 346

空空如也

空空如也