- 博客(46)
- 收藏
- 关注
RSS订阅原创 2023_Kirillov_SAM_总结
Segment Anything（SAM）由Meta AI提出，旨在构建视觉分割领域的基础模型。针对缺乏大规模掩码数据、任务固定与模型专用三大瓶颈，SAM创新性地定义“可提示分割”任务，设计重型图像编码器（ViT-H/16）与轻量解码器架构，实现单图编码后多提示实时推理。通过三阶段数据引擎（人工→半自动→全自动），生成11M图像、1.1B掩码的SA-1B数据集，支持零样本迁移至边缘检测、实例分割等23个任务，在16个上超越RITM，最大提升47 IoU。其核心在于多输出掩码设计与迭代式模拟交互训练，使模型在
2026-09-20 20:01:37
295
原创 2023_Liu_LLaVA_总结
并明说这是为了"轻量、便于快速做以数据为中心的实验"，把 Flamingo 的 gated cross-attention、BLIP-2 的 Q-former 列为 future work。作者构造了 LLaVA-Bench(COCO)（30 图 90 题，用于消融）与 LLaVA-Bench(In-the-Wild)（24 图 60 题，含 meme、绘画、素描等分布外内容），并提出用。打相对分的评测方案。这解决了"开放式回答无法用准确率衡量"的问题，但也带来了新的可信度问题（见文末局限）。
2026-09-20 19:57:43
355
原创 ULIP-2总结
ULIP-2: Towards Scalable Multimodal Pre-training for 3D Understanding**（Salesforce AI Research 等，CVPR 2024）研究的是**如何让 3D 点云表征学习到大规模图文预训练模型（如 CLIP）的开放语义**，从而具备 zero-shot / 开放词表能力。
2026-07-18 21:35:20
366
原创 ULIP总结
ULIP（Learning a Unified Representation of Language, Images, and Point Clouds）：**不绕道投影，直接训练 3D 编码器对齐到 CLIP 已对齐的图文空间**。它冻结预训练 CLIP 当「老师」，只用 ShapeNet55 自动合成的少量三元组训练 3D 编码器，让 3D 表征真正学到开放语义，在 zero-shot 3D 分类上比 PointCLIP 高出 **28.8%** top-1 accuracy。
2026-07-18 21:32:59
327
原创 对比学习03_点云方法对比
点云深度学习三篇核心论文对比摘要 本文系统对比了PointNet、PointNet++和PointCLIP三篇点云深度学习领域的代表性工作。通过方法对照表、技术trade-off分析和知识图谱梳理，揭示了点云理解方法的演进规律：从直接处理原始点云的对称函数设计（PointNet），到层次化局部建模（PointNet++），再到跨模态知识迁移（PointCLIP）。研究显示，随着范式从"3D自主建模"转向"2D预训练知识迁移"，模型的数据效率显著提升，但几何建模能力相应减弱。三者在技术路线上既存在继承性又保持
2026-07-17 13:56:08
327
原创 精读笔记10_PointCLIP
【论文摘要】PointCLIP提出了一种创新的3D点云理解方法，通过多视角深度图投影将点云数据转化为2D图像，直接利用预训练的CLIP模型实现零样本分类。该方法无需3D标注数据，仅需少量样本微调轻量Adapter即可达到87.2%的分类准确率。实验表明其与全监督3D网络具有知识互补性，融合后性能提升2.39%。研究突破了3D数据标注的瓶颈，开辟了"2D→3D知识迁移"的新范式，为后续多模态3D研究奠定基础，但存在几何推理能力较弱等局限性。
2026-07-17 13:55:55
327
原创 精读笔记09_PointNet++
PointNet++是PointNet的改进版本，针对点云非结构化的特性，提出了一种层次化特征学习方法。其核心创新在于Set Abstraction模块，通过最远点采样（FPS）、球查询（Ball Query）和微型PointNet三个步骤，实现了类似CNN的局部感受野和层次化抽象。FPS保证采样点均匀覆盖，Ball Query固定空间尺度避免密度不均问题，MSG和MRG策略进一步增强了密度适应性。分割任务通过特征传播层恢复稠密点预测。实验证明其在分类和分割任务上显著优于PointNet。该方法为后续3D点
2026-07-14 10:53:20
354
原创 精读笔记08_PointNet
3D 点云的第一块基石，就是 PointNet。在读它之前，我一直有个执念：**深度学习不都是 CNN / RNN 那一套吗？点云这种"乱七八糟一堆点"的数据，怎么喂进网络？**PointNet 最牛的地方，恰恰是把这个"怎么喂"的问题彻底解决——它**第一次实现了对原始无序点集的端到端直接学习**，既不体素化、也不投影成多视图，点来就是点，直接吃。
2026-07-14 10:47:55
326
原创 对比学习02_五模型对齐机制对比
本文对比分析了5种视觉语言预训练模型（CLIP、BLIP、ALBEF、CoCa、BLIP-2）的架构特点与演进趋势。核心发现包括：1）所有模型均采用图像-文本对比学习（ITC）作为基础对齐机制；2）融合策略经历了从无融合到晚期融合再到桥接范式的演变；3）计算成本优化路径为超大batch→动量队列→冻结大模型；4）模型逐渐从单一检索任务发展为检索与生成统一。文章特别探讨了这些2D多模态技术对3D点云研究的迁移价值，指出双塔对比、动量队列、Q-Former桥接等创新可应用于3D点云的多模态对齐和大模型构建。该比
2026-07-13 10:12:45
320
原创 精读笔记07_BLIP-2
BLIP-2精要总结（148字） BLIP-2通过轻量级Q-Former桥接冻结的视觉编码器与LLM，实现高效多模态预训练。其核心是32个可学习Query向量作为信息瓶颈，分两阶段训练：①表示学习（ITC/ITG/ITM三任务）提取文本对齐的视觉特征；②生成学习将Query投影为LLM的软视觉提示。冻结策略既保护LLM知识不遗忘，又大幅降低计算成本。该范式为3D多模态（如Point-LLM）提供关键思路——用轻量适配器撬动大模型潜力，尤其适合数据稀缺的3D领域。
2026-07-13 10:12:04
349
原创 精读笔记06_CoCa
本文介绍了CoCa模型，这是一种创新的视觉-语言基础模型，通过解耦式解码器设计实现了单模型端到端支持分类、检索、理解和生成四大任务。CoCa的关键创新包括：1）将解码器分为底层单模态和顶层多模态两部分，分别用于对比学习和生成任务；2）单次前向计算同时优化对比损失和生成损失；3）采用可学习的注意力池化器适配不同任务需求。实验表明，CoCa在多个基准上超越同期模型，为多模态统一表征提供了新范式。文章还探讨了该设计对3D点云任务的启示，如统一表征构建和注意力池化技术的迁移应用。作者指出该模型依赖大算力的局限，并预
2026-07-10 15:41:24
329
原创 精读笔记05_ALBEF
ALBEF提出"融合前先对齐"的创新思路，通过三阶段设计解决多模态学习痛点：1）使用动量队列实现小批量海量负样本对比学习；2）采用MLM+ITM任务促进深度模态融合，配合硬负样本挖掘提升判别力；3）创新性引入动量蒸馏机制，用软标签缓解网络数据噪声问题。该模型在显存效率（512 batch+65536队列）和性能（检索/理解任务）间取得平衡，对3D点云多模态研究的负样本构造、噪声处理和细粒度对齐具有直接启发。相比同期BLIP，ALBEF以更轻量架构实现可比效果，但缺乏生成能力，后续CoCa等工作中得到进一步扩
2026-07-10 15:40:03
332
原创 精读笔记04_BLIP
BLIP提出了一种创新的多模态混合编码器-解码器(MED)架构，通过三种形态（单模态编码、图文交互编码、文本生成）实现检索-理解-生成一体化。核心创新包括：1)参数共享设计，最大化多任务效率；2)CapFilt数据清洗方法，通过生成-过滤机制提升训练数据质量；3)三损失联合优化(ITC/ITM/LM)。相比CLIP，BLIP在保持对比学习能力的同时增强了语义理解和生成能力。该框架对3D点云多模态研究具有重要启示，特别是数据清洗和跨模态对齐方面。
2026-07-09 10:46:51
295
原创 精读笔记03_CLIP
如果说 Transformer 是后面所有模型的"计算单元"，那 CLIP 就是整个多模态方向的"地基"——尤其是我主攻的 **3D 点云多模态**。为什么这么说？因为后面要读的 ULIP、Uni3D，本质上都是"把 CLIP 的对齐思想从 2D 搬到 3D"；PointCLIP 更是直接拿 CLIP 训好的权重做点云 zero-shot。
2026-07-09 10:44:10
380
原创 对比学习01_Transformer_vs_ViT
本周精读了两篇论文：- **Transformer**（NeurIPS 2017）：为 NLP 序列建模而生，Encoder-Decoder 架构- **ViT**（ICLR 2021）：把 Transformer 从 NLP 带入 CV，仅用 Encoder 做图像分类一个自然的疑问是：**ViT 到底对原始 Transformer 做了哪些改造？哪些保留了，哪些变了，为什么这么变？**这篇对比博文就是回答这个问题。
2026-07-08 09:16:58
205
原创 精读笔记02_ViT
ViT论文精读摘要（145字）： Vision Transformer（ViT）开创性地将纯Transformer架构应用于图像识别。其核心是将图像切分为16×16的Patch，线性投影为序列化Token，通过可学习的1D位置编码保留空间信息。研究发现，尽管缺乏CNN的局部性和平移等变性先验，ViT在大规模预训练（如JFT-300M）后展现出超越CNN的性能，证明Transformer能从数据中自主学习空间结构。小数据场景下ViT弱于CNN，但大数据使其全局注意力机制的优势充分释放。该工作为多模态学习奠定基
2026-07-07 10:49:40
373
原创 精读笔记01_Attention_Is_All_You_Need
本文是Transformer架构的开山之作《Attention Is All You Need》的精读笔记，主要包含四部分核心内容： 纯注意力的必要性：通过对比RNN/CNN的局限，论证Transformer在并行化（O(1)顺序操作）、长程依赖（O(1)路径长度）、计算效率（n²·d复杂度优于n·d²）和多头表征（子空间学习）方面的优势。 位置编码设计：提出正弦/余弦位置编码，既保留绝对位置信息，又通过线性变换性质实现相对位置感知，解决了非时序架构的顺序建模问题。 注意力机制解析：以"图书馆找书"类比QK
2026-07-07 10:43:09
360
原创 一个轻量型的web服务器项目开发：第一部分
当满足条件时，另一个线程可以发送信号给条件变量，唤醒等待的线程继续执行。条件变量用于在线程之间进行通信和同步等待条件的发生，主要弥补互斥锁可能会造成的死锁问题。当线程释放共享资源时，需要通过释放信号量来增加信号量的值，以通知其他线程可以继续执行。互斥锁主要用于多线程遇到公共部分时的情况，多个线程对同一个值进行了操作，但是线程之间是不应该有相互影响的。互斥锁通常是用于对关键代码段进行保护，只有获取了互斥锁的线程才能执行关键代码段，其他线程必须等待锁的释放才能继续执行。
2024-07-03 13:46:43
362
1
原创 专题：优先队列
优先队列是stl库里用的很广泛的一个函数了，作用是自动排列队列中的数，使用的是堆排序。所以复杂度为logn，用法很简单，直接使用是按照升序排列的。即priority_queueq;当然我们常常会使用降序排列的优先队列，那么只需要priority_queueq;
2024-04-09 21:00:21
275
原创 专题：next_permutation函数
这是c++ stl库自带的全排列函数，在很多时候都是很好用的一个函数。作用是将数组进行自动全排列直到按照降序排列为止，所以一般在用前我们需要把对应的数组先按照升序排列.函数需要传入需要排列数组的起始和结束位置。
2024-04-09 20:53:05
286
原创 专题：高精度加减法
高精度加减法通常用于很大的数字进行加减的运算，这时直接相加都会爆long long，所以我们的核心思想是转化为数组进行加减法即可
2024-04-09 20:47:05
205
原创 专题：归并排序
归并排序也是一个很高效的排序算法，只是没有快排那么简单，毕竟只需要调用函数就行。但是归并排序通常用于计算允许交换相邻的元素来达到升序所需要的最少步数。反正关于相邻元素的交换常常会用到该算法。该算法通过交换两个相邻的序列元素来处理 n个不同整数的序列，直到序列按升序排序。您的任务是确定超快速排序需要执行多少交换操作才能对给定的输入序列进行排序。在这个问题中，您必须分析特定的排序算法----超快速排序。其中a数组是需要修改的数组，temp是辅助数组。1.归并排序模板，可以直接记下来。，超快速排序生成输出。
2024-04-04 16:21:06
213
原创 专题：滑动窗口
滑动窗口问题主要需要掌握左右端点的移动方式以及结束条件。，请你返回子数组内所有元素的乘积严格小于。例题： 力扣-乘积小于k的子数组。的连续子数组的数目。
2024-04-03 17:34:10
214
原创 力扣动态规划-零钱兑换
咋说呢，本来想用背包思想做的，但是发现直接套通用公式不行，然后自己画图推出来递归公式就做出来了。说实话，学算法真的蛮累的，好多时候一个题花的时间都要用h来计算，不过有进步了真的很开心，希望大家都能在刷题的路上坚持下去。题目来自力扣，我一般不会发布力扣相关的题解，因为上面的题解真的还是很详细了，但这是最近第一道自己做出来的动态规划题，敲开心。还是老规矩，代码中有很详细的解析，希望能帮到大家。
2024-01-07 16:15:52
603
1
原创 蓝桥杯真题，包子凑数，完全背包问题
新年的第一篇博客，祝大家新年快乐呀！，今天带来的是蓝桥杯的一个完全背包问题，还是代码有很详细的注释，希望对你有帮助。
2024-01-01 17:41:52
721
原创 BFS—蓝桥杯真题，全球变暖
这个题目和普通岛屿淹没题有点不一样的是要求完全被淹没的岛屿，所以我们把被淹没的地方设置为'x'就好了，然后看一堆x中是否有'#',有就说明没有被完全淹没。这样就可以算出最后的结果啦，找到思路后就是一个普通的bfs算法。希望能帮到看不太懂题解的小伙伴。
2023-12-25 20:00:54
145
原创 bfs算法题，洛谷搜索题单Meteor Shower S
还是洛谷搜索题单的一道bfs算法题，坑有点多，如果洛谷题解不容易理解的话，希望这篇文章可以帮的到你。代码每步都有很详细的解释。
2023-12-25 16:12:05
231
原创 图的相关应用
总之，图的创建和遍历是图算法中的基本操作，对于理解和应用图算法非常重要。在实际应用中，我们需要根据具体情况选择合适的创建和遍历方式，以实现高效的图算法。广度优先遍历（BFS）是从某个节点开始，先访问该节点，然后依次访问该节点的所有邻居节点，再访问邻居节点的邻居节点，直到所有节点都被访问。邻接表是一种链表的形式，其中每个节点表示一个顶点，节点的值为该顶点的编号，节点的指针指向与该顶点相邻的其他顶点。深度优先遍历（DFS）是从某个节点开始，先访问该节点，然后递归访问该节点的所有邻居节点，直到所有节点都被访问。
2023-06-12 17:45:47
112
1
原创 哈夫曼树的创建以及编码
同时，必须要保证编码不存在二义性（任意字符编码都不是其它字符编码的前缀）。哈夫曼编码就是符合上述要求的编码方式，采用自底向上的形式构造哈夫曼树。在数据传送时，信息表现为0和1的二进制形式。
2023-06-12 17:16:47
244
原创 链队列初学
链式队列是链表的一种形式，当然也是队列的一种特殊形式，链队列可以无限扩充（内存够的情况下)，所以这是它具有的一个很大的优点。链队列和链表一样，有一个头结点，但是他还有一个额外的尾节点，因为队列的特殊性，对他的入队和出队都只需要对头和尾结点进行操作就行了，之后若有元素要入队列，我们就动态分配一个新的结点并存入数据，之后连接这个结点到头结点上，队尾指针再后移，就实现了队列队头删除、队尾插入的特点。
2023-04-24 19:19:45
80
原创 括号匹配问题
括号匹配问题就是判断给出的一段括号是否都能成功匹配，也就是是否符合我们平时写的括号类型，这个问题在没有学习栈之前是很难完成的，但是学习栈之后就很容易实现了，我们将所给的一串字符逐个压入栈，然后到后括号时进行判断，如果最前面栈存在相匹配的则都进行出栈处理。否则就判断括号匹配失败就返回0即可。
2023-04-24 15:55:43
76
空空如也
qt视频播放功能在win732位能运行吗
2024-12-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人