立体匹配常用数据集整理

---

前言

本文主要对立体匹配算法常用的公开数据集进行整理，包括数据集的简要介绍和下载链接，以及自己构建数据集训练的一些问题。

---

一、常用数据集

1.SceneFlow数据集

Sceneflow数据集是CVPR 2016提出的，其目的就是构建一个大规模的合成数据集，用来训练深度立体匹配网络。以往的数据集(如kitti和middlebury)的训练图像都太少了，而sceneflow数据集提供了3万多对训练图像，这使得更深的深度网络能够得到充分的训练。尽管sceneflow数据集是一个合成图像的数据集，但是却可以作为深度网络的预训练数据。近几年主流的训练方法往往采用在sceneflow数据集上作pre-train，再在真实数据集上作finetune。
数据集下载链接：
Driving类finalpass的下载链接，建议直接迅雷下载，想要下载cleanpass只要把下面链接里的finalpass替换一下就行。
https://lmb.informatik.uni-freiburg.de/data/SceneFlowDatasets_CVPR16/Release_april16/data/Driving/raw_data/driving__frames_finalpass.tar.torrent
FlyingThings3D类的视差图下载链接，下载其他类同理替换一下，比官网下的快好多。
https://lmb.informatik.uni-freiburg.de/data/SceneFlowDatasets_CVPR16/Release_april16/data/FlyingThings3D/derived_data/flyingthings3d__disparity.tar.bz2

2.KITTI数据集

Kitti数据集是一个面向自动驾驶场景的室外真实数据集，目前有kitti 2012和kitti 2015两种。kitti成为近几年深度立体匹配网络常用的数据集可能有以下几点原因：kitti提出时间较早，最早的是kitti2012；

kitti是面向自动驾驶领域的一整套数据级，不仅包括视差估计，还有目标检测(2D/3D)，语义分割，单目深度估计，光流估计等，因此在学术界和工业届影响面都更广一些，权威性更高；

以往的(大佬的)论文都在kitti上作评测，新发论文要想比性能，比速度，也会在kitti上作评测。

KITTI2012下载链接：
链接：https://pan.baidu.com/s/1OV2wlJawaQsJt6Ob5XFuqA
提取码：nbni
KITTI2015下载链接：
链接：https://pan.baidu.com/s/1mVwHq8gm6NJU8-6qnYKZKw
提取码：5g9p

3.Middlebury数据集

数据集官网链接：
https://vision.middlebury.edu/stereo/data/

---

二、关于自己构建数据集训练的一些问题

（1）目前主流的深度立体匹配数据集(sceneflow，kitti，middlebury)都是经过了极线校正的左右视角图，因此立体匹配网络估计的是水平方向的视差，自己的数据集最好也能够满足这个条件，这样效果会更好。

（2）Middlebury数据集是一个室内高分辨率数据集，最大的挑战在于高分辨率。因此如果自己的数据集也是高分辨率的，可以选择一些专门针对高分辨率的网络模型。不然也可以将图像下采样了再训。

（3）根据自己的数据集是否有标签信息，选择采用有监督训练还是无监督训练。(如果拿其他数据集上训好的模型直接用到自己的数据集上，效果可能很差，毕竟立体匹配的一个很大问题是泛化性能较差)