DataSourceAI的博客

目标检测和分割在计算机视觉应用中被广泛采用，然而像YOLO系列这样的传统模型虽然高效且准确，但受限于预定义的类别，在开放场景中的适应性受到阻碍。近期的开放集方法利用文本提示、视觉线索或无提示范式来克服这一问题，但由于高计算需求或部署复杂性，往往在性能和效率之间进行折衷。在这项工作中，我们推出了YOLOE，它在一个高效的单一模型中集成了跨多种开放提示机制的检测和分割功能，实现了实时识别任何物体。

扩散变换器（Diffusion Transformer）在生成高质量图像和视频方面展现出了强大的能力和可扩展性。进一步追求生成和编辑任务的统一，在图像内容创作领域取得了显著进展。然而，由于对时间和空间动态一致性的内在要求，实现视频合成的统一方法仍然具有挑战性。我们推出了VACE，它使用户能够在一个集创作与编辑功能于一体的框架内执行视频任务。这些任务包括参考到视频生成、视频到视频编辑以及掩码视频到视频编辑。

人体运动生成任务在多个不同领域有着广泛的应用，包括影视制作、虚拟现实模拟、游戏行业等等。具体而言，运动生成中热门的子任务——文本到运动任务，可以根据语言描述生成自然的人体运动序列，使动画师 无需手动为3D角色姿态设置关键帧。本文提出了一种新颖的线条人条件，用于通过简单的文本描述来满足用户对身体姿势的详细要求。为了有效利用线条人条件，我们最初开发了一种基于现有数据集中关节位置生成手绘线条人的算法。

无论是用户拍摄的视频还是人工智能生成的视频，都已成为社交媒体上无处不在的媒介。然而，传统视频只能让我们对动态世界管中窥豹，而让用户能够在日常视频中自由重定向相机轨迹则有望带来更沉浸式的体验。图2. TrajectoryCrafter（轨迹生成器）概述。从源视频开始，无论是随意拍摄的还是由人工智能生成的，我们首先通过深度估计将其转换为动态点云。然后，用户可以使用所需的相机轨迹交互式地渲染点云。

图形用户界面（Graphical User Interface，GUI）代理在辅助人机交互、自动完成人类用户在数字设备上的导航方面展现出了惊人的能力。理想的GUI代理应具备高精度、低延迟以及对不同GUI平台的兼容性。近期基于视觉的方法通过利用先进的视觉语言模型（Vision Language Models，VLMs）展现出了潜力。虽然这些基于视觉的GUI代理总体上满足了兼容性和低延迟的要求，但由于它们在元素定位方面存在局限性，往往精度较低。