基于unity的3d视觉算法可视化

目的：

• 把3d视觉的各种结果直观的展示出来，并且能够和结果有些互动。比如点击某个frame，显示相关的信息。
• Unity能够提供丰富的用户界面功能和互动功能，所以考虑使用Unity来做可视化。并且Unity还可以跨平台。

细节：

• 最大的难点是怎么在unity和算法之间交换数据。
• Unity使用的C#托管类的语言。算法一般用c++非托管类的语言。所以需要用CLI（c++/c#）混编机制。
• Unity中调用自己C#写的链接库，在C#写的链接库中调用c++的库（算法的程序）。Unity里面有个主循环，一般算法也有自己的主循环。所以需要一个中间做缓存的。算法不断把结果放入到中间哭的缓存中，Unity再不断到缓存中取数据。反之算法从Unity取数据也类似。
• 也可以使用回调机制，就是C++给C#一个C++的函数指针。不过这种在托管语言使用非托管语言指针的做法非常麻烦也不稳定。

功能：

• 在unity中输入算法的各种参数，并启动或者停止算法。比如指定从什么时刻的数据开始运行，数据的文件在哪里。
• 能够显示3d点，frame，frame之间的共视关系，3d和2d的匹配，当前的图像。
• 可以单独控制上面哪些内容需要显示，哪些不需要显示。
• 可以不直接和算法事实交换数据，而是读入算法生成的一些数据文件进行可视化。

讨论：

• 如果只是作为算法研究用，其实Unity并不适合。所有相关的数据格式都要自己定义，摄像头的控制也要自己编写。而且算法开发一般都在ubuntu下面，所以跨平台的需求不太大。但如果是用于在客户的机器上展示用的可视化，Unity是一个选择。
• C#和C++之间的数据转换和同步也很原始，如法有任何改变，都需要有对应很大的工作量。比如临时要显示一个中间步骤的轨迹。
• 所以后面改为了ros提供的rviz，很好的解决了上面的问题。
• 如果要做的真正的跨平台，最好不要使用直接的库调用，而是使用类似