Self-Supervised Motion Magnification by Backpropagating Through Optical Flow

本文提出了一种自监督的拉格朗日运动放大模型,通过光流损失在未标记的真实世界视频上学习。该模型不仅实现全局运动放大,还能针对特定目标进行放大,采用U-Net架构进行学习。

本文采用以下六个标准对选题进行分类:

  1. 放大类型

    • 拉格朗日放大(Lagrangian Magnification):这种方法侧重于跟踪视频中单个像素的运动。通过分析这些像素如何随时间改变位置,研究人员可以放大这些细微的变化,使其更加明显。Liu等人(2005)率先提出了这种方法,此后通过光流估计等技术对其进行了改进,以提高准确性。
    • 欧拉放大(Eulerian Magnification):与拉格朗日方法的像素跟踪不同,欧拉放大检查固定位置像素值的变化。这种方法特别擅长突出高频运动,如振动或细微的颜色变化。Wu等人(2012)介绍了这种技术,随后的研究探索了其在各个领域的应用,包括医学成像和结构分析。
  2. 运动估计

    • 显式运动估计(Explicit Motion Estimation):这涉及一个专门的步骤,其中通常使用光流的算法来计算像素的运动矢量。这些矢量描述了像素如何在帧间移动,为放大提供了关键信息。RAFT(Teed & Deng, 2020)等作品就是这种方法的例证,利用深度学习来实现精确的运动估计。
    • 隐式运动估计(Implicit Motion Estimation):在这种类别中,运动不是明确计算的。相反,模型学会将运动信息直接纳入其架构或损失函数中。您上传的论文展示了这一点,它使用损失函数来指导模型生成具有放大运动的放大帧,而不需要单独的
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

结构化文摘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值