zy_alwaysl-优快云博客

原创专栏四：经典模型精读系列从 CLIP、DETR、SAM、Grounding DINO 到 Qwen-VL

Promptable segmentation 可以理解为“可提示分割”。模型不是固定输出某个类别的分割结果，而是根据用户给出的提示决定分割什么。常见提示包括：点 prompt；框 prompt；多个点；前景点和背景点。例如：用户点击猫身上的一个点，模型分割猫；用户给汽车画一个框，模型分割汽车；用户给一个粗 mask，模型输出更精细 mask。这让分割任务变得更加交互式和通用。

2026-06-26 14:38:05 546

原创专栏三：面向空间关系推理的多模态视觉智能学习笔记从 CLIP 到视觉语言大模型

多模态学习，英文是 Multimodal Learning，指的是模型同时处理和理解多种不同类型的数据。常见模态包括：图像；文本；语音；视频；表格；文档；传感器数据；动作轨迹。对于视觉智能来说，最常见的是图像和文本两个模态。图像提供视觉信息，文本提供语言语义。如果模型能把二者连接起来，就可以完成很多任务，例如：图像描述；图文检索；视觉问答；开放词汇识别；语言引导检测；文档解析；视觉智能体操作。传统计算机视觉模型通常只处理图像。例如，输入一张图，输出类别或边界框。

2026-06-26 14:11:14 362

原创专栏二：面向多模态视觉智能的深度学习基础从 CNN、ResNet 到 Transformer、ViT

在语言任务中，token 可以是一个词、一个字，或者一个子词。例如句子：可以被切成多个 token：在视觉任务中，token 的含义会发生变化。在 ViT 中，一张图片会被切成多个 patch，每个 patch 变成一个视觉 token。在 DETR 中，object query 也可以理解为一种查询 token。在多模态模型中，图像 token 和文本 token 会被放到一起处理。因此，token 可以理解为模型处理信息的基本单位。Embedding 是把离散输入转化为连续向量表示。

2026-06-26 09:04:12 567

原创专栏一：面向空间关系推理的计算机视觉基础学习笔记

bbox 是 bounding box 的缩写，中文一般叫边界框。它用一个矩形框表示目标在图像中的位置。bbox 的表示方式主要有两种。第一种是用左上角和右下角坐标表示：其中 x1、y1 是左上角坐标，x2、y2 是右下角坐标。第二种是用中心点和宽高表示：x，y，w，h。其中 x、y 是中心点坐标，w 是宽度，h 是高度。在目标检测中，模型预测的 bbox 和真实标注的 bbox 越接近，说明定位越准确。IoU 是 Intersection over Union 的缩写，中文叫交并比。

2026-06-25 17:34:16 351

原创从视觉智能到多模态大模型：我对目标检测、空间关系推理与智能感知的理解

总体来看，视觉智能正在从“识别图像”走向“理解世界”。目标检测为视觉系统提供物体级别的基础感知能力，多模态大模型让视觉与语言实现语义对齐，空间关系推理让模型能够理解对象之间的结构关系，而智能感知则把这些能力整合到真实应用中。我对这些方向感兴趣，是因为它们既有扎实的技术基础，也有广阔的应用前景。目标检测解决“看见什么”，空间关系推理解决“它们之间是什么关系”，多模态大模型解决“如何用语言理解和交互”，智能感知则进一步解决“如何在真实场景中帮助人完成任务”。

2026-06-24 14:06:04 334

原创从准确率到错误机制——VLM 空间推理 Failure Taxonomy 与案例分析

也就是说，VSR 原始标签和 BBox-SRG / Geometry v2 得到的视觉几何证据不一致。Caption:False这说明，按照数据集标签，这句话是 False；但按照 bbox 几何关系，这句话是 True。也就是说，在 original caption 判断中，Qwen2.5-VL 的回答与 BBox-SRG / Geometry v2 给出的视觉几何标签不一致。Caption:TrueFalse这类错误说明模型没有和显式几何证据对齐。

2026-06-11 08:23:11 584

原创 SRG-aware Prompting 消融实验与均衡冲突验证

第五阶段的实验表明，Qwen2.5-VL 的空间关系诊断能力高度依赖 prompt 表达形式。在普通 caption 判断中，自然语言 baseline prompt 仍然最稳定；但在 SRG conflict 判断中，naive prompt 几乎完全失败，而显式关系比较式 CoT prompt 能将准确率提升到 97%。

2026-06-11 08:11:08 463

原创接入 Qwen2.5-VL，基于显式空间关系图的 VLM 空间推理诊断实验

阶段四是 SRG-CD 项目中非常关键的一步。在这一阶段中，我们不再停留在“构建空间关系图”，而是把显式 SRG 真正用于 VLM 空间推理诊断。实验结果表明，Qwen2.5-VL 在普通 caption 判断上具有较强能力，但在 relation flip、object swap 和 wrong SRG conflict 这些结构化反事实任务上明显不稳定。dataset label、geometry evidence、VLM response 三者之间并不总是一致。

2026-06-10 21:45:53 320

原创全量 BBox-SRG 构建与 Geometry v2 空间关系诊断分析

原因是 VSR 样本本身带有 true / false 标签。如果原始 caption 是 true，那么图像中的 bbox 关系应该支持 caption。如果原始 caption 是 false，那么图像中的 bbox 关系应该反驳 caption。caption relation 与 bbox relation 匹配 → diagnostic_correctcaption relation 与 bbox relation 不匹配 → diagnostic_correct。

2026-06-10 19:48:03 311

原创从 Caption-level SRG 到 BBox-level SRG 的视觉证据构建

从 Caption-level SRG升级到第一阶段中，空间关系图来自文本；第二阶段中，空间关系图来自图像检测框和几何计算。SRG-Bench v0.1 样本数：1408前 100 条 BBox-SRG 构建成功数：66BBox 检测成功率：66.00%方向性样本数：44诊断一致数：32诊断一致率：72.73%label=False 诊断一致率：91.30%label=True 诊断一致率：52.38%horizontal 检测成功率：80.95%

2026-06-10 12:42:16 198

原创构建 SRG-Bench v0.1：面向视觉语言模型空间推理可靠性的显式空间关系图与结构化反事实诊断

本地电脑负责写代码GitHub 负责版本管理AutoDL 负责算力和实验VS Code Remote SSH 负责远程开发体验本地写代码↓GitHub 同步↓AutoDL 拉取代码↓Conda 配环境↓运行实验↓生成结果↓下载关键结果到本地备份1. GitHub push 网络失败2. Git 没有走代理3. Conda activate 需要初始化4. Python 找不到本地 srg 模块5. 文件编码出现 null bytes。

2026-06-10 09:34:15 375

原创 VisDrone 数据集转 YOLO 格式详解：从无人机小目标检测数据到 YOLOv8 训练数据

本文完成了 VisDrone2019-DET 数据集到 YOLO 格式的转换。核心步骤包括：读取 VisDrone 原始标注文件；过滤无效类别；将类别编号从1~10转换为0~9；将左上角坐标格式转换为 YOLO 中心点坐标格式；对坐标进行归一化；裁剪越界目标框；按照 YOLO 标准目录保存图片和标签。完成该步骤后，VisDrone 数据集就可以被 YOLOv8 正常读取和训练。这也是后续开展无人机场景密集小目标检测、轻量化检测网络设计和边缘部署实验的基础。

2026-05-14 20:19:23 592

原创基于 ConvNeXt-Tiny 与序数回归的糖尿病视网膜病变自动分级：从代码到论文的完整拆解

你可以这样讲：本项目针对糖尿病视网膜病变五级自动分级任务，考虑到 DR 分级具有天然的严重程度递增关系，我没有将其简单建模为普通五分类，而是采用序数回归思想，将五级分类转化为四个累积二分类问题，即分别判断病变程度是否超过 0、1、2、3 级。模型以 ImageNet 预训练的 ConvNeXt-Tiny 为骨干网络，经过 Neck 模块后分为两个输出头：序数回归头负责建模等级关系，分类辅助头配合 Focal Loss 强化困难样本和少数类学习。

2026-05-11 19:15:28 522

原创计算机保研夏令营/预推免机试复试

代码随想录的路线是按“数组、链表、哈希、字符串、树、回溯、贪心、动态规划、图论”推进，适合系统刷题；AcWing 搜索与图论体系里通常包含 DFS、BFS、拓扑排序、Dijkstra、Bellman-Ford、SPFA、Floyd 等机试核心内容。AcWing 搜索与图论部分通常从 DFS、BFS、树与图的遍历、拓扑排序开始，然后进入最短路算法。虽然你问的是数据结构和图论，但机试不可能完全不考动态规划，所以 DP 至少要会基础。保研机试里的数据结构，不是让你手写红黑树，而是让你会用结构解决题。

2026-05-11 09:22:27 556

原创动手学深度学习——课程总结和进阶学习

面对复杂任务，不再手工设计所有规则，而是让模型从数据中自动学习表示和规律。这正是深度学习最有力量的地方。从线性回归到多层感知机，从卷积网络到循环网络，从优化算法到注意力机制，这一路走下来，你其实已经建立起了深度学习最核心的骨架。后面的学习，无论是目标检测、图像分割、大语言模型，还是 AI for Science，本质上都只是继续在这副骨架上往前生长。课程结束，不代表学习结束。恰恰相反，这更像是你真正进入深度学习世界的起点。学完一门课，最好的状态不是“终于结束了”，而是：我知道自己学了什么。

2026-04-15 10:39:39 151

原创李沐深度学习优化算法

机器学习训练模型的过程，本质上就是不断调整参数，让损失函数尽可能变小的过程。比如我们训练一个分类模型，模型会输出预测结果，然后和真实标签进行比较，计算出一个损失值loss。这个loss越小，说明模型预测得越接近真实情况。模型参数该怎么调，才能让 loss 变小？这就需要优化算法。按照某种规则更新模型参数，使损失函数不断减小。函数在某一点上增长最快的方向。而我们想让损失函数减小，所以更新参数时，通常要朝着梯度的反方向沿着损失下降最快的方向更新参数。这就是梯度下降法的核心思想。

2026-04-15 10:28:44 343

原创动手学深度学习——目标检测竞赛总结

你前面一直在做实验日志，这其实是很强的习惯。因为竞赛里最怕的不是“没有想法”，而是：改了太多东西，自己都记不清哪次实验好、为什么好，说不出来后面复盘时，无法还原最优路线这一节我们从竞赛视角，对目标检测做了一次整体总结，核心内容可以概括为以下几点。

2026-04-15 10:12:27 76

原创动手学深度学习——BERT微调

在已经预训练好的模型基础上，再用目标任务数据做进一步训练。注意，这里不是“从零训练一个新模型”，也不是“只拿预训练模型当固定特征提取器”。把预训练好的参数作为初始化，然后在下游任务上继续更新参数。也就是说：BERT 主体参数会继续学新加的任务输出层也会一起学所以 Fine-tuning 的核心不是“冻结不动”，带着预训练知识，整体适配新任务。这一节我们学习了 BERT 微调，核心内容可以总结为以下几点。

2026-04-15 09:19:22 72

原创动手学深度学习——BERT预训练代码

有效 MLM 位置上的平均损失而不是简单把所有位置损失加起来。这样不同 batch 即使有效 mask 数量不同，loss 规模也更稳定。这是共享编码器多任务学习的核心。这一节我们学习了 BERT 预训练代码，核心内容可以总结为以下几点。

2026-04-15 09:17:37 197

原创动手学深度学习——BERT预训练数据代码

SEP]标记句子 B 的结束。带结构标记的拼接序列token_idssegmentsvalid_lenmlm_labelsnsp_label这里可以简单解释一下。token_ids模型真正输入的 token 序列。segments句子 A/B 标识。valid_len有效长度，用于 mask padding。哪些位置参与 MLM。哪些 MLM 位置是真实有效的。因为不同样本被 mask 的数量可能不同，pad 后要靠它区分。mlm_labels被 mask 位置原始 token 标签。

2026-04-15 09:14:06 160

原创动手学深度学习——BERT代码

这是它上下文化表示能力的来源。这一节我们学习了 BERT 的代码结构，核心内容可以总结为以下几点。

2026-04-15 09:11:17 166

原创动手学深度学习——BERT

来自 Transformer 的双向编码表示自注意力非常适合建模全局依赖，而且并行能力强。BERT 正是建立在这个基础上。它没有用 RNN、GRU、LSTM 来逐步递推序列，多层 Transformer Encoder 堆叠这是 BERT 最核心的预训练任务。它的基本做法是：在输入序列中随机遮住一些 token，让模型根据上下文去预测这些被遮住的词。deep这和传统“下一个词预测”非常不同。

2026-04-15 09:06:29 338

原创动手学深度学习——自注意力代码

这是自注意力最核心的一步。这是输出形成的关键。这一节我们学习了自注意力的代码实现，核心内容可以总结为以下几点。

2026-04-15 09:05:13 398

原创动手学深度学习——自注意力

query、key、value 都来自同一个序列。这句话一定要记住。前面在注意力版 Seq2Seq 中：query 来自解码器key/value 来自编码器这是两个不同来源。而在自注意力里：query 来自当前序列key 来自当前序列value 也来自当前序列序列内部各位置之间的动态关系建模。这一节我们学习了自注意力，核心内容可以总结为以下几点。

2026-04-15 08:43:39 304

原创动手学深度学习——使用注意力机制的 Seq2Seq 代码

上一篇我们已经从原理上理解了使用注意力机制的 Seq2Seq基础 Seq2Seq 的问题是固定上下文向量注意力机制让解码器在每一步都能动态查看输入序列query 通常来自解码器当前状态key 和 value 通常来自编码器所有时间步输出这一篇就继续按李沐的节奏，把这套模型真正落实到代码上。这一节最核心的问题就是：注意力版解码器怎么写编码器输出如何作为 keys / values 被保存下来解码器每一步如何计算当前上下文向量上下文向量如何和当前输入一起送入循环层。

2026-04-15 08:35:16 390

原创动手学深度学习——注意力分数

当前 query 和某个 key 到底有多相关。如果相关性高，那么这个 key 对应的位置就应该分到更高的注意力权重。如果相关性低，那么它分到的权重就应该更小。是的，通常都会。因为分数本身只是“相对大小”。softmax这一节我们学习了注意力分数，核心内容可以总结为以下几点。

2026-04-15 08:25:24 389

原创动手学深度学习——注意力机制代码

只在有效位置上做 softmax，把 padding 位置的权重压成 0。为什么需要它？假设一个 batch 里两条句子长度不同：第一句长度是 5第二句长度是 3，但 pad 到了 5那么第二句后面两个位置其实是无效的<pad>。如果注意力还把权重分给这两个位置，就会污染上下文向量。所以必须在 softmax 前把这些位置“屏蔽掉”。这一节我们学习了注意力机制的代码基础，核心内容可以总结为以下几点。

2026-04-15 08:10:51 381

原创动手学深度学习——注意力机制

在处理当前任务时，不平均对待所有输入信息，而是有选择地关注更相关的部分。这个思想其实非常符合人类直觉。例如你在读一句话时，如果被问到某个词是什么意思，你的目光通常会自动去看它附近的上下文，而不是平均看整句每一个词。按相关性分配关注权重也就是说，不同输入位置的重要程度可以不同。当前解码步，对输入各位置的重要性分配。例如一个 4 个词的源句子，这表示：第 2 个词最重要第 3 个词次之第 1 和第 4 个词相对没那么重要所以注意力机制本质上把“我现在更该看哪里”这件事显式量化了。

2026-04-14 21:40:49 206

原创动手学深度学习——束搜索

每一步不只保留一个候选序列，而是保留前 k 个最有希望的候选序列。这里的k束宽（beam size）也就是说：贪心搜索相当于k = 1束搜索则是k > 1不把所有希望都压在一个当前最优路径上，而是同时跟踪多个高分候选。这样，模型就更有机会避免“早早走错路”。这一节我们学习了束搜索，核心内容可以总结为以下几点。

2026-04-14 21:33:49 69

原创动手学深度学习——Seq2Seq

上一篇我们已经把编码器-解码器架构的基本骨架搭起来了，知道了：编码器负责读输入序列解码器负责生成输出序列两者通过中间状态连接这套框架特别适合机器翻译这类序列到序列任务但是，光有抽象框架还不够。Seq2Seq（Sequence to Sequence）模型编码器-解码器思想在序列任务中的经典落地形式。它通常使用：RNN / GRU / LSTM 做编码器RNN / GRU / LSTM 做解码器一个输入序列 → 一个输出序列的映射。

2026-04-14 20:38:27 46

原创动手学深度学习——编码器-解码器代码

例如后面你可以把：编码器换成 GRU/LSTM/Transformer Encoder解码器换成带注意力的 Decoder但只要接口兼容，整体框架就不用推翻。这一节我们学习了编码器-解码器架构的代码骨架，核心内容可以总结为以下几点。这样便于统一接口和后续扩展。

2026-04-14 20:21:07 42

原创动手学深度学习——编码器-解码器架构

编码器（Encoder）解码器（Decoder）它们的分工非常明确。这一节我们学习了编码器-解码器架构，核心内容可以总结为以下几点。

2026-04-14 10:24:47 85

原创动手学深度学习——机器翻译与数据集

把一个源语言序列，映射成一个目标语言序列。例如：我喜欢深度学习你会发现，它和前面的语言模型不一样。平行语料（Parallel Corpus）同一个意思，用两种语言分别表达，并一一对齐形成句对。↔↔这类“源句子-目标句子”配对，就是机器翻译最基本的监督数据。所以你可以理解成：机器翻译就是在学习“句对映射规则”。这一节我们学习了机器翻译与数据集，核心内容可以总结为以下几点。

2026-04-14 10:20:01 59