Unity绿幕视频后期制作方案探索

制作流程演示视频

https://www.bilibili.com/video/BV1Xf4y1n7yj/

目标：

使用Unity ARFoundation、ARkit、Timeline开发一套可以在Unity进行视频后期制作的工具。

设备要求：

支持ARkit的iOS设备，需要设备有LiDAR激光雷达(iPhone 12 Pro/Max、iPadPro)

原理：

1、扫描拍摄空间的静态物体并保存网格

2、手机端记录视频帧画面及该帧摄像机的Fov、位置和旋转

3、发送视频数据和网格数据到Unity

4、处理视频数据生成可以在Timeline播放的clip数据格式

5、处理Mesh数据生成网格

6、使用ChromaKey着色器去除绿幕背景

(也可以在AE、Blender等工具进行更精细抠图处理后替换图片)

7、处理前中后 Camera的渲染画面的叠加 

8、搭建场景、导入Mesh作为后期制作的坐标参考

9、场景美化、灯光、阴影、后处理...

10、使用recorder输出视频

处理前效果

处理后效果

总结：

该方案可以制作一些要求不高的视频后期处理，如果要专业的处理还是要用专业的影视后期制作软件。

欢迎大家提出更好的想法、反馈建议~