宝山王-优快云博客

原创 Affordance发展脉络

图片 → affordance mask。

2026-10-12 14:49:50 177

原创 ALBEF 论文学习笔记：先对齐，再融合 —— 让图文模型学会 “说同一种语言“

在讲 ALBEF 之前，我们先搞清楚它在解决什么问题。让机器同时看懂图片、读懂文字，并且理解两者之间的关系。就像人类一样 —— 看到一张 "猫在沙发上睡觉" 的图片，我们能立刻把画面和这句话对应起来。为了实现这个目标，早期的做法是收集大量的 "图片 + 描述文字" 配对数据（比如从网上爬取的图文对），然后训练一个模型去学习图文之间的关联。图文检索（给一句话找对应的图，或给一张图找对应的描述）视觉问答（VQA，给图 + 问题，让模型回答）视觉推理（判断一句话和两张图是否矛盾）等等。

2026-09-03 12:56:18 326

原创深度学习归一化笔记：LayerNorm、Normalize、BatchNorm、RMSNorm 全方位对比

Normalize 是纯数据预处理手段，不属于网络可训练层，核心作用是把数据映射到固定区间、统一量纲，消除特征尺度差异，无任何可学习参数，训练时不更新权重。Normalize：工具，预处理用，无参数；BatchNorm：CV 专用，靠批次，怕小 batch；LayerNorm：NLP 标配，靠单样本，稳；RMSNorm：LN 精简版，大模型通用，更快更优。RMSNorm。

2026-08-25 16:47:34 462 1

原创 ViLT 论文学习笔记

ViLT 干了一件事：把图片切成小方块，像文字一样直接喂给 Transformer，砍掉了最耗时的目标检测器，用 1/60 的速度做到了差不多的效果，从此多模态模型走上了 "端到端" 的快车道。

2026-08-22 17:05:01 332

原创常见激活函数详解：Sigmoid、ReLU到GRLU、SiLU

通用基线场景：优先选ReLU，简单高效，是绝大多数 CNN、MLP 的默认选择；Transformer / 大语言模型：默认用GELU，是当前 NLP 与大模型的标准配置；输出层选择：二分类用Sigmoid，多分类用Softmax；ReLU 效果不佳、出现大量神经元死亡：可替换为GELU 或 Swish等平滑激活函数；轻量化 / 高效网络：可尝试Swish/SiLU，在少量额外计算成本下提升精度。

2026-08-07 10:30:08 702 1

原创算法竞赛笔记：哈希表unordered_map

哈希表，平均 O(1)，竞赛首选：红黑树，O(logn)，慢、基本不用key（前int）：原数据（数组值、字符、编号）value（后int）：需要存的东西（下标、出现次数、状态）

2026-08-06 12:34:57 478

原创 Transformer FFN（前馈神经网络）原理

横向看上下文，token 之间互相看；纵向加工每个向量，每个 token 单独过两层全连接 + 激活，扩大特征空间再压缩；LLaMA 等现代大模型把 ReLU 换成 SwiGLU，性能更好。

2026-07-30 10:02:12 227

原创 C++算法竞赛 STL 入门笔记

在算法竞赛中，STL（标准模板库）是提升编码效率的核心神器，无需手动实现数据结构，就能快速完成动态存储、排序、查找、最值维护等操作。本文覆盖竞赛 90% 场景下的高频 STL 组件，配合代码示例、时间复杂度、适用场景和踩坑指南，看完即可上手刷题。

2026-07-28 12:01:00 309

原创对比学习开山之作SimCLR论文学习笔记

不用标签，单纯依靠 “辨别是不是同一张图” 这个任务，就可以训练出媲美有监督的视觉模型。它没有花哨的结构，纯粹把数据增强、特征映射、对比损失这三件事做到极致，把对比学习的研究路线彻底带火了。本文提出 SimCLR：一套极简的视觉表征对比学习框架。该框架在隐空间中通过对比损失，最大化同一图像不同增广视图间的特征一致性。多种强数据增强组合是构建有效对比预测任务的核心；无监督对比学习所需的数据增强强度远高于监督学习。在原始表征与对比损失之间增加可学习非线性投影头，能大幅提升表征质量。

2026-07-11 10:05:52 773

原创何凯明 MAE 论文学习笔记

MAE 的成功核心不在于结构复杂，而在于抓住了图像冗余特性：高掩码率制造有效监督信号。非对称编解码设计非常巧妙，兼顾训练效率与表征学习能力，解决了 ViT 预训练昂贵的痛点。简单的重建任务，只要任务难度设计合理，就能学习出极强的通用视觉特征。未来可拓展方向：结合多模态、动态掩码、分层重建、小样本学习等场景。

2026-07-10 13:25:24 459

原创 BERT模型学习笔记

证明了深度双向预训练的巨大价值，彻底改变了 NLP 领域的技术路线。统一了预训练 - 微调范式，大幅降低了下游任务的适配成本，无需针对每个任务设计复杂架构。实证了模型缩放的有效性，为后续大语言模型的发展奠定了基础。

2026-07-07 10:00:05 344 2

原创 YOLO模型学习笔记（以YOLOv1为核心）

YOLOv1本质：👉 将目标检测转化为一个回归问题👉 使用一个神经网络一次性预测所有目标公式表达：输入图像 → CNN → S×S×(B×5+C)

2026-06-23 11:25:32 338 1

m0_74670117的博客