上海人工智能实验室通用视觉团队获EgoVis CVPR 七个赛道冠军

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

引 言

第一视角(点击了解)理解对于AI智能体至关重要。 继2022年,上海人工智能实验室通用视觉团队在Ego4D竞赛中取得“超级队伍”的称号后,我们在第一视角领域的主流竞赛 CVPR 2024年EgoVis竞赛中,再次获得7个赛道的第一名。我们对部分国内外竞赛冠军技术方案进行了归纳整理,分享给大家,欢迎大家留言讨论!

技术报告:

https://arxiv.org/abs/2406.18070

开源代码:

https://github.com/OpenGVLab/EgoVideo

图片

EgoVis 比赛介绍

EgoVis 2024 CVPR Workshop承接了自2022年起的Ego4D workshop和自2016年起办的EPIC比赛,主要关注可穿戴摄像头、智能眼镜和AR/VR头戴设备所带来的以人为中心的视觉感知,这些设备在辅助技术、教育、健身、娱乐、游戏、老年护理、机器人技术和增强现实等领域具有广泛的应用,对社会产生积极影响。

EgoVis Challenge是目前第一人称计算机视觉领域世界上最大规模的竞赛,随着智能设备和算力的不断发展,近年来受关注度得到显著提高。截止到比赛结束,有85个队伍在14个赛道中提交了97个方法。

上海人工智能实验室通用视觉团队联合浙江大学、南京大学等学校获得7个赛道的冠军,成为获得最多冠军的团队。夺得冠军的7个赛道分别为自然语言查询(Natural Language Queries),2D视觉查询(Visual Queries 2D),短期目标交互(Short-term object interaction anticipation),长期动作预测(Long-term Action Anticipation),目标跟踪(EgoTracks),领域适应动作识别(Domain Adaptation for Action Recognition),身体姿态估计(Body Pose)。

图片

冠军赛道

  • 自然语言查询(Natural Language Queries):通过先进的算法,实现对视频内容的自然语言查询,提升信息检索的准确性和效率。

  • 2D视觉查询(Visual Queries 2D):利用深度学习技术,对2D视觉数据进行高效分析,推动视觉识别技术的发展。

  • 短期目标交互(Short-term object interaction anticipation):预测短期内物体间的交互行为,为智能监控和自动驾驶等领域提供技术支持。

  • 长期动作预测(Long-term Action Anticipation):通过深入分析视频数据,预测长时间跨度内的动作发展,为健康监护和体育分析等应用提供可能。

  • 目标跟踪(EgoTracks):精确追踪视频中的目标物体,为视频监控和行为分析提供强有力的技术支持。

  • 领域适应动作识别(Domain Adaptation for Action Recognition):使模型能够适应不同领域的动作识别任务,增强模型的泛化能力。

  • 身体姿态估计(Body Pose):准确估计人体姿态,为健康监测、运动分析等应用提供数据支持。

现在就和我们一起看看冠军方案介绍吧!

第一人称高质量数据的获取

虽然现在有像Ego4D一样的大规模第一视角数据集的提出,并不是里面所有的数据都有高质量的标注从而适合模型的学习的。于是我们将Ego4D、EgoExoLearn、Ego4D-Goalsteps等数据集进行严格筛选,剔除掉里面不利于模型预训练的数据。同时,为了尽可能的利用更多领域的第一视角数据,我们并没有将数据集严格限制在以上数据集中,而是从HowTo100M等数据集中筛选第一视角和类似第一视角的视频,加入我们的预训练集中。最终我们筛选合并了7M视频-文本对,用于后续的模型预训练。

在高质量第一人称数据上的后训练

基于上海人工智能实验室通用视觉团队强大的视频基础模型InternVideo2,我们使用第一步骤所得来的数据进行post-pretraining。该阶段旨在缩小网络规模视频数据集与第一人称视频之间的领域差异。通过在筛选出的第一人称视频数据上执行后训练,将通用视频特征表示有效地转移到第一人称领域。这里我们使用Video-Text 的对比学习来训练模型,并且在EPIC-Kitchens数据集上进行零样本验证模型的训练成果。通过这一阶段的训练,我们得到了EgoVideo模型,一个能够更好地适应第一人称视频数据的模型,为第三阶段的任务特定微调提供了一个坚实的基础。

在各项任务上的微调

在第二阶段获得针对第一人称领域的EgoVideo模型后,第三阶段的目的是进一步调整模型,使其能够针对特定的下游任务进行优化。每个任务都有其特定的训练集,根据每个任务的不同特性,我们把EgoVideo-V(视频编码器)或EgoVideo-T(文本编码器)在这些训练集上进行微调。通过任务特定微调,EgoVideo模型在各个任务上都取得了显著的性能提升,展示了模型在处理特定任务时的适应性和有效性。

具体各项任务的定义、实现等请参考我们的技术报告

链接:https://arxiv.org/abs/2406.18070

开源代码

链接:https://github.com/OpenGVLab/EgoVideo/

后续我们也会陆续放出更强大的第一视角基础模型,可以支持更细粒度的物体交互的理解、生成,同时支撑具身智能的相关应用,敬请期待!

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1299

【论文阅读】MINOTAUR: Multi-task Video Grounding From Multimodal Queries

背景动机 细粒度的视频理解已经成为增强现实(AR)和机器人应用开发的关键能力。为了达到这种级别的视频理解,智能体(例如虚拟助手)必须具备识别和推理视频中捕获的事件和对象的能力,处理一系列视觉任务,如活动检测、对象检索和(空间)时间基础。然而,目前关于视频理解的研究主要集中在使用特定任务的注释数据集训练个体的、高度专业化的模型,而没有考虑多个任务之间的协同作用和模型对新任务的泛化。 作者寻求一种替代方法——为多个细粒度视频理解任务构建一个统一的框架。具体来说,目标是调查两个关键的研究问题 (i)设计

qq_50213874的博客 1246

手把手教你搞定国民技术N32G031的Keil开发环境(附Pack包和JLink配置)

本文详细指导如何搭建国民技术N32G031的Keil开发环境,包括Keil MDK安装与激活、Pack包导入、JLink调试器配置等关键步骤。特别针对新手常见问题提供解决方案,帮助开发者快速上手N32G031系列MCU的开发工作。

cuangu9341的博客 427

只需要十分之一数据,就能通关四大视觉任务,居然还开源了!

本文约5800字,建议阅读10分钟 OpenGVLab开源超高性能预训练模型,节省90%数据量!分类、目标检测、语义分割、深度估计,四大任务一网打尽!Github链接:https://github.com/opengvlab家人们,你们有没有这种苦恼?搬一次家就换一次家具,那些又贵又重的家具既不好搬运,又不好全部带走。下一次又重新购置一遍家具,浪费钱不说,关键是来来回回都...

数据派THU 1127

人大金仓的‘影子表’sys_user:搞懂Schema优先级,告别字段不存在的报错

本文深入解析人大金仓数据库中‘影子表’sys_user的Schema优先级问题,帮助开发者解决字段不存在的报错。通过分析Schema搜索路径机制,提供四种解决方案,包括连接时指定Schema、动态调整搜索路径、永久修改用户设置和使用完全限定表名,确保查询准确无误。

weixin_30329623的博客 597

智能座舱-语音交互系统

从什么是智能座舱、智能座舱的发展驱动因素、智能座舱的构成要素三个方面梳理我对智能座舱的基础认识之后,为了加深“智能座舱产品入门”课程中语音交互部分知识的理解,我从什么是语音交互、语音交互的底层技术、智能座舱的语音交互等方面,对智能座舱语音交互系统相关的知识进行了梳理与总结。

GUOSA0928的博客 1443

[EAI-013] Ego4D,MetaAI 构建的大规模人类第一人称视角学习数据集

数据集 Ego4D:在规模(时长,相机佩戴者,标注数量,地理位置等),多样性(室内和室外,任务数量等)和真实感(真人佩戴相机)方面更上一层楼的第一视角的日常活动数据集,大多数是无脚本化(不指定相机佩戴者要执行什么活动)和in the wild的。“4D” 的含义是第一视角获取的 3D 空间信息 + 时间信息。5 个基准任务阐明研究课题:涵盖了第一视角感知的基本组成部分——索引过去的经验,分析当前的互动,预测未来的活动。

全性保真,不以物累形。 4793

电影台词预测类型:NLP小样本多标签分类实战

电影类型预测本质上是短文本语义建模问题,核心在于从高度碎片化、低语义密度的台词(平均仅12.7词)中挖掘隐含的类型学编码规则。其技术难点在于:需应对省略主语、倒装、拟声词等非规范表达;处理Drama与Comedy等类型强共现的多标签耦合;并克服领域迁移障碍——维基文本预训练模型在台词上性能骤降0.11。解决方案聚焦RoBERTa微调、类型感知注意力机制与标签平滑策略,兼顾小样本鲁棒性与业务可解释性,广泛适用于影视元数据标注、智能推荐系统及NLP教学实践。

weixin_33309048的博客 291

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 328

开源 AHB不对称半桥反激电路设计(六)死区时间,谐振腔电流,谐振电感函数表达式

电流跌落可以使副边电流峰值和有效值降低,减小损耗,但如果开关管 S2 导通期间,谐振电流谐等于励磁电流,即副边电流A 点降至 0,会在原边变压器内形成环流,产生损耗,同时也不利于副边同步整流管驱动的正常工作,为了保证开关管 S2 导通期。在开关管 S1 和开关管 S2 均关断的死区时间内,谐振电流给原边开关管结电容和副边整流管结电容充放电,因此会引起开关 S1 关断瞬间电流跌落与开关 S2 关断瞬间电流震荡现象,受寄生参数影响原边谐振电流波形和副边电流波形如图。降到最低,变压器以最高效率向副边传递能量。

【Simon】的博客 1231

国产系统迁移实战:在银河麒麟V10上搞定Wine32位支持,让老Windows软件跑起来

本文详细介绍了在银河麒麟V10操作系统上构建Wine32位支持的全过程,帮助用户解决Windows应用迁移难题。从系统架构差异分析到Wine环境配置,再到实战应用部署与优化,提供了一套完整的解决方案,确保老Windows软件在国产系统上稳定运行。

weixin_32288959的博客 651

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 261

OpenCV实战系列——图像线条提取

基于内容的图像分析,需要从构成图像的像素集合中提取有意义的特征。轮廓、线条、区域等是基本的图像基元,可用于描述图像中包含的元素。本节将介绍如何提取重要的图像线条特征。

m0_58523831的博客 1万+

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 609

电磁兼容(EMC):一文读懂过电应力(EOS)

过电应力(EOS)是指元器件承受的电流或电压应力超过其允许的最大范围。产品的电磁兼容(EMC)失效的一种常见模型为过电应力(EOS),也是电子产品失效的最常见的情况之一。过电应力基本与半导体器件相关,EOS事件包括有:静电放电(ESD)、雷击、系统瞬态、电磁脉冲、充电等。本文将详细讨论一下产品设计中如何关注EOS设计。

linkking27的博客 6487

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 198

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 333

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 337

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 80

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 154

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 505

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 605

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

387

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 398

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5125

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 553
上一篇: InternVL 2.0:多模态大模型新标杆
下一篇: 万字干货分享!基于PaddleMIX实现InternVL2多模态模型推理
OpenGVLab
博客等级 码龄2年 418粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值