17、深度学习时代的光流估计与时空动作实例分割定位技术

深度学习时代的光流估计与时空动作实例分割定位技术

光流估计：从传统到深度学习的转变

在深度学习时代，光流估计方法主要分为两类：传统的基于能量的公式和端到端可训练的、基于回归的卷积神经网络（CNN）架构。起初，这一过渡阶段提出的方法在当时被经典的基于能量的公式所超越。但随着研究的稳步推进，例如发现更好的骨干架构、合成训练数据集和学习策略，基于CNN的方法如今取得了最准确的结果，并在当前的研究中占据主导地位。

为了克服监督学习的（领域）过拟合倾向，无监督或自监督方法以及半监督学习方法最近被作为替代方案进行研究。此外，利用时间平滑性或连贯性的多帧CNN方法，显示出进一步提高光流估计准确性的潜力。

然而，当前的方法仍存在一些局限性。例如，存在领域过拟合倾向，即训练好的模型在未见过的领域中泛化能力不佳；并且需要复杂的训练方案，通常需要先在合成数据集上进行预训练，然后在目标领域上进行微调，这在实际训练模型时会变得复杂。这些挑战为光流深度学习方法的未来研究留下了很大的空间。

以下是光流估计方法发展的一些关键节点：
| 年份 | 方法 | 简介 |
| ---- | ---- | ---- |
| 2015 | FlowNet | 利用卷积网络学习光流 |
| 2017 | FlowNet 2.0 | 基于深度网络的光流估计的演进 |
| 2018 | LiteFlowNet | 用于光流估计的轻量级卷积神经网络 |

下面是光流估计方法发展的mermaid流程图：

graph LR
    A[传统能量方法] -->