前言:
上一节我们介绍了如何在ControlNet中控制光源光线的能力
主要介绍ControlNet中的三维重建。
三维重建是一个比较重的感念。就是将2D的内容,或者3D的场景但是2D数据的内容,还原到3D的需求。
最常用的需求就是我们通过某些设备将某些古建筑扫描成点云数据,或者我们去登月后获得的数据都是2D平台的。此时我们需要通过三维重建的方式,以一种3D的方式呈现这些内容的能力。
实际上这个工作一般是很强的三维引擎在做的事情。而RA/SD以其强大的图片处理能力,也能将2D平面的图形,做初类似2.5D的类三维视角的图片。
知识点:
- 三维重建
通过 Depth 深度检测和 Normalbae 法线贴图模型,识别三维目标。再配合提示词和风格模型,重新构建出三维物体和场景。
应用模型:Depth、Normalbae。
示例:
提供了一张风景图,然后选择对应的大模型后,用图生图,通过2个ControlNet 单元控制,实现开通三维重建。(大模型换成其余风格,三维重建的风格就不变)
2个Unit的控制,一个用深度图,一个用法线图。
RA/SD 衍生者AI训练营