- 博客(203)
- 收藏
- 关注
RSS订阅
原创 最新三维视觉下的扩散模型综述——Diffusion Models in 3D Vision: A Survey
该文章为三维视觉下的扩散模型综述，包括但不限于三维视觉，三维扩散生成任务，三维数据集，评估指标，未来发展方向等工作。
2024-11-05 19:26:56
7138
原创 Diffusion Forcing，Causvid，Self Forcing论文解读
本文摘要： 三篇论文聚焦全序列扩散与AR模型的融合，以提升长序列视频生成的稳定性。DiffusionForcing创新性地结合自回归与扩散模型，通过帧级异步噪声控制，在保留AR流式/因果特性的同时引入扩散的纠错能力，但面临RNN并行化瓶颈。Causvid则通过DMD蒸馏将预训练双向DiT转化为因果AR模型，实现9.4FPS实时生成，核心是块内全注意力+块间因果注意力架构及分布对齐的轻量化策略。两者均试图平衡生成质量与计算效率，为动态视频生成提供了新思路。
2026-06-17 17:52:46
310
原创 StreamVGGT、Stream3R、InfiniteVGGT论文解读
本文提出了三种针对视频流4D几何重建的改进方法：StreamVGGT通过因果Transformer架构和知识蒸馏实现高效流式重建；Stream3R直接修改VGGT为因果注意力机制；InfiniteVGGT创新性地引入基于Key相似度的动态KV缓存管理算法，解决长序列处理中的内存问题。研究还提出了Long3D评估数据集，填补了长序列连续视频评估的空白。这些方法在保持重建质量的同时，显著提升了处理效率和可扩展性，为实时4D重建提供了新思路。
2026-03-27 18:00:30
770
原创 PAGE-4D、4RC、Track4World论文解读
本文综述了三篇关于动态场景4D重建与3D跟踪的最新研究。PAGE-4D改进了VGGT架构，通过动态掩码预测模块区分处理静态与动态区域，并采用内存高效机制降低计算开销。4RC提出统一的前馈模型，通过几何头和运动头联合预测深度图和位移场，实现密集点轨迹重建。Track4World设计2D引导3D的跟踪策略，利用光流信息辅助3D场景流估计，并通过长短流监督优化训练过程。这些方法针对动态场景重建中的关键挑战，包括静态-动态区域解耦、运动建模和计算效率等问题，提出了创新性解决方案，推动了4D重建技术的发展。
2026-03-25 15:15:33
537
原创 Easi3R、VGGT4D、4D-VGGT论文解读
本文介绍了三种动态场景重建方法：1. Easi3R：基于DUSt3R模型的无训练4D重建方法，通过分析交叉注意力图识别动态物体，采用滑动窗口和k-means聚类增强时间一致性，分步重建静态和动态场景。2. VGGT4D：扩展VGGT模型实现4D重建，利用Gram相似性统计提取动态特征，结合几何检验优化掩码，解决Easi3R的局部视野局限问题。3. 4DVGGT：统一框架整合时空特征，通过双模块注意力（跨视图/跨时间）处理动态场景，新增时间token并支持多任务输出（深度、位姿、动态分割等）。这些方法均在无需
2026-03-21 22:03:47
927
原创 TTSA3R、LaCT、ZipMap，LoGeR论文解读
本文研究了四篇关于3D重建与视频处理的论文，针对现有方法在计算复杂度与重建质量间的矛盾提出了创新解决方案。TTSA3R通过时空自适应模块优化在线3D重建；LaCT采用大块处理策略提升硬件利用率；Zipmap结合VGGT与LaCT实现高效高质量重建；LoGeR利用混合记忆设计处理超长视频序列。这些方法通过引入持久状态、大块处理、混合架构等创新思路，在保持或提升重建质量的同时显著提高了计算效率，为3D视觉和视频处理领域提供了新的技术方向。
2026-03-20 14:15:03
574
原创 Spann3R、MUSt3R、CUT3R、TTT3R论文解读
本文系统综述了增量式3D重建方法的最新进展，重点分析了Spann3R、MUSt3R、Cut3R和TTT3R四种代表性工作。这些方法通过引入外部记忆机制和循环更新策略，克服了传统全局重建方法计算复杂度高、难以处理长序列的问题。Spann3R采用查询-键值记忆库实现跨帧信息融合；MUSt3R通过对称解码器简化计算流程；Cut3R支持新视角预测和动态场景重建；TTT3R创新性地提出自适应状态更新机制，显著提升了长序列处理能力。这些方法在保持恒定内存占用的同时，实现了高效的在线增量重建，为实时3D场景理解提供了新的
2026-03-15 22:07:55
713
原创 VideoLLM相关论文（三）
本文介绍了VideoRFT和LOVE-R1两个视频理解模型。VideoRFT（NeurIPS 2025）通过构建310K规模的数据集和语义一致性奖励机制，解决了基于文本描述的推理中视觉对齐不足的问题。LOVE-R1提出动态帧处理机制，采用快视频+慢视频;的附加模板，通过三阶段训练（模板适应、CoT冷启动、解耦强化学习）实现自适应关键帧选择。
2026-01-26 17:56:26
854
原创 VideoLLM相关论文（二）
本文介绍了两项视频理解领域的研究工作：VideoChat-R1和VideoAuto-R1。VideoChat-R1在RL+MLLM框架基础上扩展了时空感知任务，提出多奖励函数协同训练方法，包括时空交并比、分类准确率和字幕召回奖励，并采用线索驱动推理处理长视频。VideoAuto-R1则针对视频理解中的推理效率问题，提出“思考一次，回答两次”框架，通过置信度评估实现早期退出机制，在保证准确率的同时显著提升推理效率。
2026-01-21 21:59:39
822
原创 VideoLLM相关论文（一）
本文综述了两篇关于利用强化学习（RL）提升视频大语言模型在时序推理任务性能的研究。Time-R1（NeurIPS 2025）提出从监督微调（SFT）转向基于IoU指标的RL优化，通过GRPO框架结合时间感知奖励函数和渐进式训练策略TimeRFT，在TVG任务上取得突破。DeepVideo-R1改进了GRPO的梯度消失问题，提出Reg-GRPO将策略优化转化为回归任务，并引入难度感知数据增强机制。
2026-01-19 23:00:53
1039
原创 LLaVA-3D，Video-3D LLM，VG-LLM，SPAR论文解读
LLaVA-3D，Video-3D LLM，VG-LLM，SPAR论文解读
2025-08-21 21:32:14
1413
原创 SpatialLLM，SpatialReasoner，SpatialLM论文解读
SpatialLLM，SpatialLM，SpatialReasoner的论文解读
2025-08-18 21:21:52
1577
原创 SpatialVLM和SpatialRGPT论文解读
SpatialVLM和SpatialRGPT论文解读，以及两个论文间的发展关系和动机，模型架构，数据集和新的benchmark
2025-08-15 18:07:34
1442
1
原创 3D-R1、Scene-R1、SpaceR论文解读
3D-R1、Scene-R1、SpaceR三个相关GRPO强化学习应用到3D多模态大语言模型新方法的论文解读
2025-08-14 19:53:49
1564
原创 MindOmni: Unleashing Reasoning Generationin Vision Language Models with RGPO论文解读
MindOmni是一个基于OmniGen构建的多模态生成与推理系统，针对现有文本到图像模型的局限性进行改进。系统采用Qwen2.5-VL框架和OmniGen扩散模型，通过三阶段训练策略提升性能：1)预训练阶段使用图文对数据进行模型对齐；2)CoT监督微调增强推理能力；3)创新性RGPO强化学习算法优化多模态奖励机制。实验表明，MindOmni在MMBench、WISE等基准测试中表现出色，实现了高质量的推理生成能力。该系统通过独特的架构设计和训练流程，有效平衡了多模态任务处理与复杂推理能力。
2025-08-07 16:44:54
759
原创 ShapeLLM-Omni 论文解读
《ShapeLLM-Omni：面向3D生成与理解的多模态大语言模型》提出了一种支持3D内容原生处理的端到端框架。该模型基于Qwen2.5-VL架构，通过3DVQVAE将OBJ网格离散化为体素token序列，构建了包含712K 3D资产和70K编辑指令的3D-Alpaca数据集。实验表明，
2025-08-05 19:48:12
1248
原创 MUSE-VL、TokenFlow、UniToken论文解读
MUSE-VL、TokenFlow、Unitoken语义+像素视觉编码的工作的论文解读
2025-08-03 17:52:22
1213
原创 Metamorph、LlamaFusion、MetaQuery论文解读
Meta发布的Metamorph、Llamafusion、MetaQuery论文解读
2025-08-01 22:40:40
1341
原创 Transfusion，Show-o and Show-o2论文解读
Transfusion,show-o和show-o2论文解读，架构，创新点分析
2025-07-23 21:36:03
1288
原创 BAGEL：Emerging Properties in Unified Multimodal Pretraining 论文解读
摘要：BAGEL提出了一种新型多模态理解与生成统一架构，通过Mixture-of-Transformers(MoT)设计解决传统方法中的信息瓶颈问题。该架构采用理解专家和生成专家分离的参数空间，共享自注意力机制，同时支持视觉理解和生成任务。训练过程采用三阶段策略，利用2565M多模态交错数据（5.1T tokens）实现能力涌现。实验表明，BAGEL-1.5B模型在多项基准测试中超越更大规模的对比模型，特别是在长上下文推理和自由图像操控等复杂任务上展现出显著优势，验证了MoT架构的高效性。
2025-07-22 01:56:08
1480
原创 VLM-3R: Vision-Language Models Augmentedwith Instruction-Aligned 3D Reconstruction 论文解读
本文提出VLM-3R框架，首次实现直接从单目RGB视频进行3D空间理解。通过引入空间编码器（CUT3R）和时空融合模块，系统结合2D外观与3D几何特征，无需依赖深度传感器或预建地图。研究构建了最大规模3D指令数据集（20万QA对），涵盖8类空间任务，并开发了VSTI-Bench评估基准（13.8万QA对），包含五类时空推理任务。实验采用冻结预训练参数策略，仅微调融合模块，在ScanNet等数据集上验证了方法的有效性，显著提升了对相机运动、物体关系等时空推理能力。
2025-07-21 23:06:28
1492
原创 BLIP，InternVL Series（上）
介绍SimVLM，BLIP，BLIP-2，Intern-1.0论文的动机，方法架构，以及训练思路。
2025-07-20 03:02:54
1421
原创 CLIP、Open CLIP、SigLip、SigLip2的相关总结
本文系统梳理了多模态对比学习模型的发展脉络，重点分析了CLIP及其改进模型的技术特点。CLIP通过文本-图像对比学习实现跨模态语义对齐，采用双编码器架构和对称对比损失。OpenCLIP验证了多模态学习的幂律定律，表明模型性能与计算规模呈负相关。SigLIP创新性地使用Sigmoid损失替代Softmax，显著降低了内存消耗并支持小批量训练。最新的SigLIP2整合了LocCa定位能力、SILC自蒸馏技术和TIPS掩码预测，通过动态分辨率处理和多语言支持进一步提升了模型性能。这些技术突破为多模态学习开辟了新方
2025-07-14 16:43:02
10198
原创 DepthCrafter: Generating Consistent Long Depth Sequencesfor Open-world Videos 论文解读
该论文提出了一种基于预训练I2V扩散模型的深度估计单目视频模型，可以实现对于不同开放世界视频下时间一致的长深度序列，而不需要任何诸如光流估计等额外信息。在时间长度问题上，大多现有视频扩散模型都只能生成一个固定的帧数或者少量的帧。但是很难实现太长帧数的开放世界的视频深度估计。
2025-03-18 18:21:48
1033
原创 MagicArticulate: Make Your 3D Models Articulation-Ready 论文解读
该论文提出MagicArticulate框架，旨在将静态的3D模型自动转换为支持动画的articulation-ready资产。以往的3D模型都是静态模型，转换成可连接的关节模型需要专业人员手动放置骨骼，定义联合层次结构。而后续的自动骨架提取方法，对于复杂的形状很难实现，或者依赖于固定的模版，有很差的通用性。主要贡献：（1）第一个包含over 33k的高质量关节注解数据集（2）一个两阶段的框架，用于有效地处理骨架的生成和蒙皮权重预测（3）在现实世界的动画pipeline中展示出SOTA性能。
2025-03-02 22:41:55
1628
CUMT自然语言处理报告-Qwen2大模型实现命名实体识别
2024-11-25
CUMT自然语言处理报告-基于DB和DB++的文本检测优化
2024-11-25
CUMT的神经网络与深度学习报告及源代码，基于MindSpore的DCGAN和WGAN分析
2024-06-18
cumter计算机程序设计实验报告
2023-05-15
PyQt5科学计算器（包含汇率转换，进制转换，BMI）
2023-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人