怡宝2号

光流估计从匹配的思路来看，是估计两张图中的对应匹配点的关系，所以两张图的相关关系建模至关重要，对应到实现中时，cross attention > self attention 的作用，所以优化，提高的方向应更关注cross attention

只涉及光流部分的数据集官网下载地址https。

光流数据不好标注，至少还没有看到有关光流标注的方法。一般的，光流表示相邻两帧图像中，同一个像素点的移动，前向光流是t -> t+1 的，所以对光流进行可视化时，物体的轮廓和t时刻是一致的。后向光流一般定义的是：t - > t-1。开源的光流数据有很多格式，不过一般都会提供数据解析的例子，按例子进行读取解析就行。光流的数据为：HxWx2，H,W分别表示图像的高度和宽度，2表示在x，y方向上的移动像素数。同时，这里的移动是以当前点为基点移动的。这里对sintel数据集中一张图片进行可视化。第一张图是0.5 x

对比了精确的光流，可变性卷积DCN，可学习的光流，从指标来看，可学习的光流是效果最好的。

gmflow中采用矩阵乘法求两个图像的全局匹配，而以前的光流算法多采用一定半径的局部求相关性，而两个超多元素的矩阵乘法会严重增加计算量，所以这里对全局匹配的结果进行可视化，进行直观感受。gmflow中全局匹配的code就是对两个特征用matmul求相关性。后面可视化就是对的可视化。整体流程：code：第一张图是前向光流可视化图，第二张图分别是400个点对应的ativation map图。可以看到：...

光流估计问题有些开源的光流数据集会给出前向光流，后向光流，那：到底什么是前向光流，后向光流？前向光流+后向光流=0？前后向光流的计算来自论文：ProFlow: Learning to Predict Optical Flow说明：前向（t->t+1）, 后向（t->t-1）前向，后向光流都是以当前帧做参考帧，所以在可视化的时候，前向和后向应该物体轮廓的位置都一样。前向后向的可视化可以看到前向，后向光流中红色框中物体离右边界的像素距离都是一样的。可视化的.

光流，静态场景静态场景有运动目标时

光流，GMAcode：https://gitcode.net/u011622208/GMA解决的问题：解决光流估计中被遮挡点的光流估计问题在RAFT的基础上进行优化改进解决方案两帧之间的运动信息，可以通过计算cost volume的匹配信息进行估计当没有匹配信息时，基于这样一个假设，单个物体（在前景或背景中）的运动通常是均匀的，运动信息必须从其他像素开始传播同时，对于每个像素理解他属于那个对象。也就是说，非被遮挡的自相似点的运动信息可以传播到被遮挡的点。CNN不适合做全局运动估计.

光流，raft伪代码corr 计算初始化光流flowfor i range(iters): 1. 用光流flow对corr做warp，得到运动特征，motionF 2. 对运动特征和flow做编码motionF2 3. cat(motionF2, F当前图片的特征)到GRU模块 4. Flow输出总结：增加一次corr计算iters warpiters GRU+flow out自己想的简化版corr模块的计算需要自己实现，而且应该很耗时。想着只是使用前一帧的flow做.

optical flow主体方向coarse-to-fine，由粗到精的过程efficient cost volume computation，高效的相关性计算warping in feature space，warp采样

在本文中，我们介绍了LiteFlowNet3，这是一个由两个专用模块组成的深度网络，可以应对上述挑战。

光流，liteflownetcode from：mmflow上图就是光流中的核心三大件：feature warpcorse to fine inferflow regularization1. 训练细节主要的深度学习网络都是所有模块一起训练的，光流训练比较困难，在训练技巧上可做的技巧比较多。采用分阶段的训练，一个模块一个模块的训练。先训练NetC和NetE中的M6:S6M_{6}:S_{6}M6​:S6​ 300k个迭代R6R_{6}R6​和前面已经训练好部分在训练300个迭.

光流，liteflownetcode:mmflowCVPR20181. 前言FlowNet2是最先进的光流估计卷积神经网络(CNN)，需要超过160M的参数来实现精确的流量估计。在本文中，我们提出了一种替代网络，它在Sintel和KITTI基准测试上优于FlowNet2，同时在模型尺寸上要小30倍，在运行速度上要快1.36倍。这是通过深入研究当前框架中可能被遗漏的架构细节而实现的：（1）我们通过轻量级级联网络在每个金字塔级提出了一种更有效的流推理方法。它不仅通过早期校正提高了流量估计的精度，而且.

转载自：https://blog.youkuaiyun.com/u012348774/article/details/112123638code来自:mmflow1. 模型针对此问题，PWCNet利用多尺度特征来替换网络串联，其大致网络结构如下。PWCNet首先通过CNN卷积得到多层的特征，然后从低分辨率开始估计光流，并将低分辨率的光流上采样到高分辨率，同时构建cost volume和预测当前分辨率的光流，最后逐步得到最终分辨率的光流结果。针对其中光流的coarse-to-fine过程，有一个更详细的示意.

转载自:RAFT: 稠密的光流场估计尊重原创，请读原文一、摘要本文提出了Recurrent All-Pairs Field Transforms(RAFT), 一个光流估计的深度神经网络. RAFT 提取像素级的特征, 为所有像素建立多尺度 4D 关联信息, 通过查找4D关联信息, 循环迭代的更新光流场. 本文算法在KITTI、Sintel数据集上取得了state-of-the-art的表现. 同时, RAFT在多个数据集上有很强的泛化能力, 并且在训练速度、参数数量、推理时间上都有很高的效率..