Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

depth anything解读与复现教程 近日,TikTok发布一项新型AI技术“DepthAnything”,该技术由TikTok联合香港大学和浙江大学共同研发的一种先进单目深度估计(MDE)技术,能更有效地从2D图像中识别出深度信息图。基于这些深度信息图,普通的2D影像便可转化为3D影像。相比此前已有技术,“DepthAnything”在提升深度图的质量方面取得重大突破。此技术的应用将使得TikTok平台上现有的海量2D影像能够轻松转化为3D影像,让普通手机拍摄的2D影像“一键转3D”,或将大幅推进XR产业的发展。 阅读详情

本文是深度学习相关文章,针对《Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data》的翻译。

Depth Anything:释放大规模无标签数据的力量

摘要

这项工作提出了Depth Anything,这是一种用于鲁棒单目深度估计的高度实用的解决方案。在不追求新颖技术模块的情况下,我们的目标是建立一个简单而强大的基础模型,在任何情况下处理任何图像。为此,我们通过设计一个数据引擎来收集和自动注释大规模未标记数据(~62M),从而大大扩大了数据覆盖范围,从而能够减少泛化误差,从而扩大数据集的规模。我们研究了两种简单而有效的策略,这两种策略使数据扩展更有希望。首先,通过利用数据扩充工具创建了一个更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得稳健的表示。其次,开发了一种辅助监督,以强制该模型从预训练的编码器继承丰富的语义先验。我们广泛评估了它的零样本能力,包括六个公共数据集和随机拍摄的照片。它展示了令人印象深刻的泛化能力(图1)。此外,通过利用来自NYUv2和KITTI的度量深度信息对其进行微调,设置新的SOTA。我们更好的深度模型也产生了更好的深度条件ControlNet。我们的模型在这里发布。

1 引言

2 相关工作

3 Depth Anything

4 实验

5 结论

在这项工作中,我们提出了Depth Anything,这是一种非常实用的鲁棒单目深度估计解决方案。与现有技术不同,我们特别强调了廉价和多样化的未标记图像的价值。我们设计了两种简单但高效的策略来充分利用它们的价值:1)在学习未标记图像时提出更具挑战性的优化目标,以及2)从预训练的模型中保留丰富的语义先验。因此,我们的Depth Anything模型表现出出色的零样本深度估计能力,也可以作为下游度量深度估计和语义分割任务的一个很有前途的初始化。

【计算机视觉】单目深度估计模型-Depth Anything-V2 本篇将简单介绍单目深度估计模型,该模型旨在解决现有的深度估计模型在处理复杂场景、透明或反射物体时的性能限制。与前一代模型相比,V2版本通过采用合成图像训练、增加教师模型容量,并利用大规模伪标签现实数据进行学生模型教学,显著提高了预测精度和效率。 阅读详情

相关推荐

视觉特征-自监督-掩码特征预测【2026-03】:V-JEPA2.1【2B】【全Token稠密预测损失】【多层深度自监督】【图像/视频多模态Tokenizer】【160万小时视频】【1.42亿张图像】

Lorenzo Mur-Labadia1,2,∗, Matthew Muckley1, Amir Bar1, Mido Assran1, Koustuv Sinha1, Mike Rabbat1, Yann LeCun1, Nicolas Ballas1,†, Adrien Bardes1,†1FAIR at Meta, 2Universidad de Zaragoza ∗Work done at Meta, †Joint last authorWe present V-JEPA 2.1, a family

u013250861的博客 353

单目深度估计---Depth Anything论文详解

论文题目:Depth Anything: Unleashing the Power of Large-Scale—— 任何深度:释放大规模无标记数据的力量(注意论文名字,因为后续的很多工作都是在未标注数据上做的。作者认为Depth Anything是一种用于稳健单目深度估计的非常实用的解决方案。在不追求新颖的技术模块的情况下,作者目标建立一个简单而强大的基础模型(而且是Zero-shot)。为此,作者通过设计一个数据引擎来收集并自动标注大规模未标记数据(∼62M),从而扩大数据覆盖范围,来能够减少泛化误差。

qq_44799766的博客 2万+

DepthAnything试玩

本文首发于公众号【DeepDriving】,欢迎关注。

DeepDriving 5458

【单目深度估计】Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

这项工作介绍了深度任何东西,这是一种用于鲁棒单目深度估计的高度实用的解决方案。在不追求新的技术模块的情况下,我们的目标是构建一个简单而强大的基础模型来处理在任何情况下的任何图像。为此,我们通过设计一个数据引擎来收集和自动注释大规模未标记数据(~62M)来扩展数据集,这显着扩大了数据覆盖率,从而能够减少泛化误差。我们研究了两种简单而有效的策略,使数据扩展变得有希望。首先,通过利用数据增强工具创建了一个更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得稳健的表示。其次,开发了一种辅助监督来强制模型从预

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 1万+

【文献阅读】Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

深度Any模型:利用大规模未标记数据提升单目深度估计性能 本文提出了一种名为"深度Any"的创新方法,旨在构建一个强大的单目深度估计基础模型。该方法通过设计数据引擎自动收集和标注约6200万张未标记图像,显著扩展了数据覆盖范围。研究采用两种关键策略:1)利用数据增强工具创建更具挑战性的优化目标,迫使模型学习更强的视觉表示;2)引入辅助监督机制,使模型继承预训练编码器的丰富语义先验。实验表明,该模型在六个公共数据集和随机照片上展现出卓越的零样本泛化能力,并在NYUV2和Kitti数据集上实

qq_44050612的博客 1017

深度学习论文: Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

本文提出了名为Depth Anything的实用单目深度估计(MDE)方案,旨在构建能够处理各种任务环境图像的简单而强大的基础模型。方案从三个关键维度进行优化:首先,通过数据引擎实现大规模无标注数据的收集与自动标注,显著提升数据覆盖率和降低泛化误差;其次,利用数据增广工具创造更具挑战性的优化目标,增强模型对额外视觉知识的探索能力,提升特征鲁棒性;最后,设计辅助监督信息,使模型能够继承预训练Encoder中的丰富语义先验信息。

mingo_敏 1503

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data阅读

本研究介绍了Depth Anything,一个用于稳健单目深度估计的高度实用的解决方案。我们并不追求新颖的技术模块,而是旨在构建一个简单而强大的基础模型,能够在任何情况下处理任何图像。为此,我们通过设计一个数据引擎来收集和自动标注大规模无标签数据(约6200万),从而扩大数据集规模,显著提高数据覆盖率,进而减少泛化误差。我们研究了两种简单而有效的策略,使得数据扩展具有良好的前景。首先,通过利用数据增强工具创建了一个更具挑战性的优化目标。这迫使模型主动寻求额外的视觉知识并获得稳健的表示。

m0_56243424的博客 937

【深度学习】深度估计,Depth Anything Unleashing the Power of Large-Scale Unlabeled Data

通过大规模和高质量的MDE训练,我们的模型显著提高了DINOv2在下游任务中的性能,并提供了可视化结果以展示其鲁棒性和准确性。具体来说,对于未标记的图像,我们提出通过在学习伪标签时对学生模型提出更具挑战性的优化目标,使其主动寻求额外的视觉知识并学习更鲁棒的表示。此外,我们通过简单的特征对齐损失保留了丰富的语义先验,而不是使用辅助的语义分割任务。这项工作提出了一个强大的框架,通过利用大规模未标记数据和继承丰富的语义先验,显著提高了单目深度估计的性能,同时为下游任务提供了一个强大的预训练模型。

q742971636的博客 935

【论文阅读】Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

这篇论文提出了一个使用的方案,用于鲁棒的单目深度估计,Depth Anything 论文的模型结构没有创新,主要贡献在于 1. 探索了简单有效的数据扩展方式(如何有效利用大量的无标签数据 2. 从预训练模型继承语义(使用冻结的 DINOv2 进行特征约束 论文的方法在各中深度估计数据集上都取得了SOTA

DplusC的博客 2470

TI理想二极管在冗余电源中应用实例

深入探讨理想二极管如何提升冗余电源系统的效率与可靠性,通过实际应用案例展示其在电流隔离和自动切换中的优势,帮助工程师优化电源架构设计。

weixin_30653091的博客 991

LM Studio 模型加载与转换实战指南:从GGUF格式到本地部署

本文提供了使用LM Studio加载与转换GGUF格式大语言模型的完整实战指南。详细阐述了为何GGUF格式是本地部署的最佳选择,并逐步指导用户如何将非GGUF模型(如Transformers格式)转换为GGUF格式,以及在LM Studio中进行加载、配置GPU卸载等关键优化,最终实现流畅的本地离线对话体验。

weixin_29061425的博客 921

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data论文解读

随着分割一切的SAM模型基准,紧接着tag一切的RAM模型基准,又随着区域token一切的TAM模型基准,迎来了深度估计一切的DAM模型。不错,本文介绍Depth Anything论文,改论文是单目深度估计论文。这项工作提出了 Depth Anything,这是一种用于鲁棒单目深度估计的高度实用的解决方案。在不追求新颖的技术模块的情况下,我们的目标是建立一个简单而强大的基础模型,处理任何情况下的任何图像。这项工作提出了 Depth Anything,这是一种用于鲁棒单目深度估计的高度实用的解决方案。

weixin_38252409的博客 1688

DRAM知识整理系列(三):部分时序参数整理

一、tCL-tRCD-tRP-tRAS(第一时序) 内存是根据行和列寻址的,当请求触发后,最初是tRAS(Active to precharge Delay),预充电后,内存才真正开始初始化RAS(Row Address Strobe)。一旦tRAS激活后,RAS开始进行需要数据的寻址。首先是行地址,然后初始化tRCD(RAS to CAS Delay),周期结束,接着通过CAS(Column Address Strobe)访问所需数据的十六进制地址。其中,从CAS开始到CAS结束,就是CAS延迟(即t

不吃鱼的猫的博客 7万+

PaperReading -- Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

本文猜测,将一张图片解码为离散的类别空间会损失过多的信息,剩下的有限信息很难再对深度估计任务有提升。为了获得更强的教师模型,使用语义分割领域的DINOv2预训练权重初始化编码器,并使用预训练的语义分割模型识别天空区域且将天空区域视差值设为0.HRWSI虽然只有20K的图像,但是它提供了最强的模型泛化能力,这说明了数据集中数据的多样性对模型泛化能力的重要性。在一个数据集上训练相对的深度模型,在六个未见过的数据集上进行评估,以此比较不同数据集训练对模型泛化能力的影响。另一种是强烈的空间扭曲,即CutMix。

S__ph的博客 1734

MOS 管驱动设计细节,波形分析

一般认为MOSFET是电压驱动的,不需要驱动电流。然而,在MOS的G S两级之间有结电容存在,这个电容会让驱动MOS变的不那么简单。 如果不考虑纹波和EMI等要求的话,MOS管开关速度越快越好,因为开关时间越短,开关损耗越小,而在开关电源中开关损耗占总损耗的很大一部分,因此MOS管驱动电路的好坏直接决定了电源的效率。 对于一个MOS管,如果把GS之间的电压从0拉到管子的开启电压所用的时间越短,那么MOS管开启的速度就会越快。与此类似,如果把MOS管的GS电压从开启电压降到0V的时间越短,那么MOS管关断的

m0_50862404的博客 1万+

UE5Could not be compiled. Try rebuilding from source manually.

UE5Could not be compiled. Try rebuilding from source manually.

weixin_45417260的博客 2770

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data精读

这项工作介绍了 Depth Anything1,一个高度实用的解决方案,用于稳健的单目深度估计。我们不追求新的技术模块,而是旨在构建一个简单而强大的基础模型,以处理任何环境下的图像。为此,我们通过设计一个数据引擎来收集和自动标注大规模的未标记数据(约6200万),从而显著扩大数据覆盖范围,减少泛化误差。我们探讨了两种简单而有效的策略,使得数据规模的扩大变得有希望。首先,通过利用数据增强工具创建了一个更具挑战性的优化目标,迫使模型积极寻求额外的视觉知识并获取稳健的表征。

weixin_49053303的博客 883

Dify Rerank 模型配置全流程解析:从报错定位到代码实现

Dify Rerank 模型配置全流程解析:从报错定位到代码实现

engchina的专栏 4470

【读点论文】Depth Anything Unleashing the Power of Large-Scale Unlabeled Data基于dinov2结合MiDas进行深度估计,运用无标签数据

这项工作提出了 Depth Anything,这是一种用于鲁棒单目深度估计的高度实用的解决方案。在不追求新颖的技术模块的情况下,我们的目标是建立一个简单而强大的基础模型,处理任何情况下的任何图像。为此,我们通过设计数据引擎来收集和自动注释大规模未标记数据(∼62M)来扩展数据集,这显着扩大了数据覆盖范围,从而能够减少泛化误差。我们研究了两种简单而有效的策略,使数据扩展前景光明。利用数据增强工具创建更具挑战性的优化目标。它迫使模型主动寻求额外的视觉知识并获得稳健的表示。其次,开发了辅助监督来强制模型从预训练的

白水空空 1222

[代码开源]基于DistFlow的IEEE33和IEEE69节点最优潮流模型(OPF)实现与性能分析

本文详细介绍了基于DistFlow的IEEE33和IEEE69节点最优潮流模型(OPF)的实现与性能分析。通过代码开源,展示了如何从零搭建电力系统优化模型,解决配电网中的发电成本最小化问题。文章涵盖数据准备、模型实现细节、性能优化建议及常见问题解答,为电力系统研究者提供实用参考。

weixin_29103191的博客 708

Intellij IDEA 使用教程(一)Jdk安装和配置

一.JDK下载 这里下载的是Java SE 8u181 64位版本。可以根据自己电脑配置来选择不同版本。 官网下载JDK 二.安装JDK 双击运行jdk-8u181-windows-x64.exe安装程序 选择安装目录,然后点击下一步 等待安装 安装JRE,就是java的运行环境,可以安装在java目录下 等待安装 安装完成。点击关闭。 三.java环境变量配置 关于环境变量的配置,...

岁月不饶人,我亦未曾饶过岁月 4054

【文献阅读】Depth Anything Unleashing the Power of Large-Scale Unlabeled Data

本文提出了 Depth Anything [1],这是一种高度实用的稳健单目深度估计解决方案。我们的目标不是追求新颖的技术模块,而是构建一个简单而强大的基础模型,能够在任何情况下处理任何图像。 为此,我们通过设计一个数据引擎来收集和自动标注大规模无标签数据(约 6200 万),从而扩大数据集规模,显著扩大了数据覆盖范围,进而能够降低泛化误差。我们研究了两种简单而有效的策略,使数据规模扩大具有前景。 第一,利用数据增强工具创建一个更具挑战性的优化目标,这迫使模型积极寻找额外的视觉知识并获得稳健的表征。

Toky_min的博客 1047

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Depth Anything V1,V2论文解读

例如,通过数据集混合和尺度-平移不变损失的构建,研究人员能够在训练过程中有效地利用多样化的数据源,提升模型的泛化能力。这些修改使得模型能够从大规模未标注图像中积极地获取额外的视觉知识,并显著提高了标注图像的基线表现,从而增强了模型的鲁棒性和处理开放世界数据的能力。这些数据集包含了丰富的场景和视角变化,能够有效提升模型的泛化能力和适应各种应用场景的能力。常见的仿射不变损失函数包括平方损失函数的变体或者其他形式的损失函数,如Huber损失函数等,用于惩罚预测值与真实值之间的差异,同时考虑到尺度和平移变化。

weixin_42010722的博客 6746

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Depth Anything——强大的单目深度估计模型

本研究引入了Depth Anything模型,该模型在稳健的单目深度估计方面展现了高度实用性。通过强调廉价且多样化的未标记图像的价值,并采用两种有效策略,即在学习未标记图像时设定更具挑战性的优化目标以及保留预训练模型的丰富语义先验,使得该模型在零样本深度估计方面表现出色。此外,该模型还可作为有望初始化下游度量深度估计和语义分割任务的有效工具。

知来者逆的博客 6818

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

2024单目测距Depth anything解读和复现

2024年2月份,TikTok发布一项新型AI技术“DepthAnything”,该技术由TikTok联合香港大学和浙江大学共同研发的一种先进单目深度估计(MDE)技术,能更有效地从2D图像中识别出深度信息图。基于这些深度信息图,普通的2D影像便可转化为3D影像。相比此前已有技术,“DepthAnything”在提升深度图的质量方面取得重大突破。此技术的应用将使得TikTok平台上现有的海量2D影像能够轻松转化为3D影像,让普通手机拍摄的2D影像“一键转3D”,或将大幅推进XR产业的发展。

ChengBUAA的博客 6419

ComfyUI DepthAnything V2 深度处理效果测试

这项工作介绍了Depth Anything V2。 我们不追求花哨的技术,而是旨在揭示关键的发现,为构建一个强大的单目深度估计模型铺平道路。值得注意的是,与V1 相比,这个版本通过三个关键实践产生了更精细、更鲁棒的深度预测: 用合成图像替换所有标记的真实图像, 扩大我们教师模型的容量, 通过大规模伪标记真实图像的桥梁教授学生模型。 与基于Stable Diffusion构建的最新模型相比,我们的模型在效率上显著更高(速度超过10倍)且更准确。我们提供不同规模的模型(从25M到1.3B参数...

聚梦小课堂 6320
上一篇: Excuse me, sir? Your language model is leaking (information)
下一篇: DOCLLM: A LAYOUT-AWARE GENERATIVE LANGUAGE MODEL FOR MULTIMODAL DOCUMENT UNDERSTANDING
UnknownBody
博客等级 码龄16年 5600粉丝 4729原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值