Ref-NPR：基于参考的非真实感辐射场实现可控场景风格化

Ref-NPR：基于参考的非真实感辐射场实现可控场景风格化

Ref-NPR [CVPR 2023] Ref-NPR: Reference-Based Non-PhotoRealistic Radiance Fields 项目地址: https://gitcode.com/gh_mirrors/re/Ref-NPR

项目介绍

Ref-NPR 是一篇在 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2023 上发表的研究成果，其官方实现提供了一种强大的单图像场景风格化工具。该工具允许用户基于给定的风格化视图，创建场景的多种风格化版本。风格化视图可以通过手绘、2D 图像风格化技术或文本驱动的可控生成方法（如使用 ControlNet）来生成。Ref-NPR 同样适用于以 NeRF（神经辐射场）格式表示的 3D 对象。

项目技术分析

Ref-NPR 的核心是一种名为“参考-based 非真实感辐射场”的技术，它通过利用给定的风格化视图与场景内容之间的相互作用，实现了对场景风格化的精细控制。该项目基于以下关键技术和理论：

1. NeRF（神经辐射场）：一种用于表示 3D 场景的高效技术，通过学习场景的连续体积表示来生成照片级真实感图像。
2. 风格迁移：借鉴 Gatys 等人的风格迁移理论，将特定风格的纹理和特征迁移到场景中。
3. 参考视图：通过使用一个或多个参考风格视图，项目可以生成与参考视图风格一致的新场景视图。

项目及应用场景

Ref-NPR 的应用场景广泛，包括但不限于以下方面：

1. 艺术创作：艺术家和设计师可以利用 Ref-NPR 创建具有独特风格的艺术作品。
2. 游戏开发：游戏设计师可以使用 Ref-NPR 为游戏场景添加个性化的视觉风格。
3. 虚拟现实：在虚拟现实应用中，Ref-NPR 可以用于实时场景风格化，增强用户体验。
4. 媒体娱乐：在电影、动画和视频制作中，Ref-NPR 可以用于实现特殊的视觉效果和场景风格。

项目特点

Ref-NPR 具有以下显著特点：

1. 可控性：用户可以根据自己的需求，通过不同的风格化视图来控制场景的风格化效果。
2. 兼容性：Ref-NPR 支持多种风格化技术，包括手绘、2D 风格化图像以及文本驱动的生成方法。
3. 扩展性：项目支持用户自定义数据集和风格化参考，便于用户根据自己的需求进行扩展。
4. 高性能：利用 NeRF 的连续体积表示，Ref-NPR 在生成风格化场景时具有高效性和高质量。

以下是 Ref-NPR 的一些示例效果：

| 原始内容 | 手绘风格 | ControlNet 中国画风格 | ControlNet 京都动画风格 | |---------|---------|---------|---------| | | | | |

对于更多示例和详细信息，请访问项目的 主页。

快速开始

1. 安装环境与数据下载

   bash ./create_env.sh
   bash ./download_data.sh
   

2. 可选的光照训练（渲染）

   cd opt
   bash ../exps/base_pr/run_all_bases_syn.sh
   bash ../exps/base_pr/run_all_bases_llff.sh
   bash ../exps/base_pr/run_all_bases_tnt.sh
   

3. 运行 Ref-NPR

   # Ref-NPR:
   # run_single.sh [风格文件夹] [epoch_multi=2] [输出目录]
   bash ./exps/refnpr/run_single.sh ./data/ref_case/flower_colorful/
   

4. 自定义数据 用户可以根据自己的数据集进行训练，并使用自定义的风格化参考。

参考文献

在撰写相关论文或项目文档时，请引用以下文献：

@inproceedings{
  zhang2023refnpr,
  title={Ref-{NPR}: Reference-Based Non-Photorealistic Radiance Fields for Controllable Scene Stylization},
  author={Zhang, Yuechen and He, Zexin and Xing, Jinbo and Yao, Xufeng and Jia, Jiaya},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2023}
}

通过上述介绍，我们相信 Ref-NPR 将为场景风格化领域带来新的视角和方法，值得广大开发者和技术爱好者的关注和尝试。

Ref-NPR [CVPR 2023] Ref-NPR: Reference-Based Non-PhotoRealistic Radiance Fields 项目地址: https://gitcode.com/gh_mirrors/re/Ref-NPR