1、Neural Rendering

原创 已于 2022-07-19 16:37:31 修改
· 901 阅读 · 1 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习

于 2022-07-14 23:27:43 首次发布
这篇博客探讨了神经渲染的概念，包括从传统的计算机图形学方法到利用深度学习进行高真实感图像合成、3D内容重建和场景编辑。涉及的技术包括Pix2Pix、DeepVoxels、Scene Representation Networks、Neural Textures和Novel View-Point Synthesis，以及它们在面部动画和声音同步等领域的应用。同时，文章也提到了当前面临的挑战和未来的发展方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Rendering简介

在这里插入图片描述
Photo-realistic Image Synthesis
在这里插入图片描述
Need 3D Content for Rendering
在这里插入图片描述
Computer Vision for Reconstruction
在这里插入图片描述
3D Digitization
在这里插入图片描述
Traditional Graphics vs Deep Learning
在这里插入图片描述
Idea of Neural Rendering
在这里插入图片描述

Neural Rendering with Pix2Pix
在这里插入图片描述
在这里插入图片描述
Other Neural Rendering
在这里插入图片描述

Deep Voxels

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Importing 3D structure from CG

在这里插入图片描述
在这里插入图片描述

Scene Representation Networks

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Neural Textures

  • Features on 3D Mesh

在这里插入图片描述

  • Deferred Neural Rendering

在这里插入图片描述
在这里插入图片描述

  • Neural Textures: Features on 3D Mesh
    在这里插入图片描述

  • Novel View-Point Synthesis

在这里插入图片描述
在这里插入图片描述

  • Scene Editing
    在这里插入图片描述
    在这里插入图片描述
  • Facial Animation
    在这里插入图片描述

Neural Voice Puppetry在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Big Open Challenges

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

What is Neural Rendering? 百度翻译
G果的博客
11-27 438
那么，什么是神经渲染?在运行时，物体的材质和网格被用作着色程序的输入，该程序在给定的光照条件和特定的相机角度下计算物体的外观(幻灯片2)。这种渲染管道可以创造出惊人的结果:你看过的每一部电影中的每一个CGI效果，你玩过的每一款游戏都使用了这种“经典计算机图形”管道的某种形式。该管道的主要难点在于显式定义每个对象和每个材质需要大量的工作，渲染真实或复杂的场景需要大量的计算。有了神经渲染，渲染图像所需的计算也不再与场景的复杂性(物体、灯光和材料的数量)有关，而是与神经网络的大小(执行向前传递所需的时间)有关。
论文阅读-《TransHuman: A Transformer-based Human Representation forGeneralizable Neural Human Rendering》
zyd_994264926326的博客
08-29 805
这篇论文主要介绍了一个名为TransHuman的新框架，它是一个基于Transformer的人体表示模型，用于实现可泛化的神经人体渲染。这项工作的目标是从一个或多个视角的视频训练出发，生成能够泛化到新视角和新主体的高质量3D人体动态渲染。传统的神经渲染方法通常依赖于卷积神经网络（CNN）或其他特定模型进行人体渲染。然而，这些方法往往在处理多样化的人体姿态和外观时表现出局限性，尤其在面对不同光照条件、复杂的背景或姿势变化时，模型的泛化能力较差。
探索神经渲染的奇妙世界 - Awesome Neural Rendering 深度剖析
gitblog_00068的博客
08-09 302
探索神经渲染的奇妙世界 - Awesome Neural Rendering 深度剖析 awesome-neural-rendering项目地址:https://gitcode.com/gh_mirrors/aw/awesome-neural-rendering 在数字时代的浪潮中，逼真的视觉体验成为了创新的核心。今天，我们将深入探索一个令人瞩目的开源项目—— Awesome Neural Re...
Neural Rendering: 深度学习在计算机图形学中的新篇章
2401_87189860的博客
09-06 1900
神经渲染是一种将深度学习技术与传统计算机图形学渲染方法相结合的新兴技术。它利用神经网络来学习复杂的几何形状、材质属性和光照信息,从而生成高质量的图像或视频。与传统的基于物理的渲染方法相比,神经渲染能够更好地处理复杂的光照效果、材质和几何形状,同时具有更高的渲染效率。神经渲染的核心思想是利用神经网络来学习从3D场景到2D图像的映射关系。这种方法不仅可以生成逼真的图像,还可以实现各种图像编辑和操作任务,如视角合成、光照编辑、材质迁移等。神经渲染作为深度学习与计算机图形学的交叉点,正在开创计算机图形学的新纪元。
【图像处理基石】什么是神经渲染？
最新发布
agito_cheung的博客
03-27 1560
神经渲染（Neural Rendering）是一种结合深度学习技术和计算机图形学的新型图像生成方法。它利用神经网络（如生成对抗网络、Transformer等）从数据中学习场景的特征或物理规律，从而生成高质量的图像、视频或3D内容。与传统基于物理的渲染（如光线追踪）不同，神经渲染更注重从数据中学习复杂的视觉效果，而非完全依赖显式建模。NeRF（Neural Radiance Fields）的计算流程NeRF 是一种基于神经网络的隐式3D场景表示方法，通过多视角图像训练后，可渲染任意新视角的逼真图像。
【调研】虚拟人 & 深度神经渲染（neural rendering）
fahaihappy的专栏
01-18 2309
点击上方“AI搞事情”关注我们据天眼查数据显示，我国现有“虚拟人”、“数字人”的相关企业28.8万余家。2016-2020年，5年新增注册企业增速复合增长率近60%，行业进入爆发期。百度公司发布了数字人平台——百度智能云曦灵，通过百度智能云曦灵平台的开放，让每个人实现数字人自由。字节跳动则推出了沉浸式虚拟社交平台Pixsoul，还全资入股了拥有虚拟偶像团体A-SOUL著作权的公司，并收购了VR创业...
Neural Inverse Rendering for General Reflectance Photometric Stereo阅读
qq_37626251的博客
01-09 1599
用于一般反射光度立体模型的逆渲染神经网络 摘要 我们提出了一种用于光度立体（Woodham，1980）的新型卷积神经网络体系结构，该问题是从在不同照明下观察到的多个图像中恢复3D对象表面法线的问题。尽管它在计算机视觉领域具有悠久的历史，但是对于具有未知的一般反射特性（BRDF）的表面，该问题仍然显示出基本的挑战。利用深层神经网络来学习复杂的反射模型是有前途的，但是由于难以获得准确的GroundTr...
Neural Volumes Rendering(一)
soaring_casia的专栏
06-07 2453
1.前言 我们还是秉承，尽量使用一些直白的语言来描述一些酷炫的工作。 Neural Volumes(NV)[1] 是 Stephen Lombardzai(Facebook)在2019 年SIGGRAPH发表的工作，虽然NeRF的影响力是更大的，但是可以确定的是，NV是VolumeRendering在神经渲染方面上的首次应用，并且NV的一些思想在之后的许多工作中都有体现，因此本文将会单独对 NV进行介绍，希望本文能为大家建立一些 VolumeRendering的概念。 ...
DeepMind Sceince文章：Neural scene representation and rendering，官方blog解读
qq_26815239的博客
07-02 1528
There is more than meets the eye when it comes to how we understand a visual scene: our brains draw on prior knowledge to reason and to make inferences that go far beyond the patterns of light that hi...
A Neural Rendering Framework for Free-Viewpoint Relighting.pdf
10-19
本文提出了一种名为Relightable Neural Renderer（RNR）的新型神经渲染框架，用于同时进行视图合成和重照明处理。现有的神经渲染方法并没有明确地模拟物理渲染过程，因此在重照明方面的能力有限。RNR则通过将图像...
MPI and neural Rendering
09-05
对于参考视图中的每个平面，可以使用以下公式来计算其在目标视图中的位置，其中s和t表示源视图和目标视图，R和t是相对相机外参，k是相机内参，n是平面的法向量（n = [0, 0, 1]），a = -d_s，d_s是源平面的深度。...
Neural-Rendering-Papers:“数据科学家应该回想起创新常常不是在提供精美的算法，而是为客户创造价值。”-Damian Mingle
03-31
神经渲染纸
awesome-neural-rendering
04-16
Awesone神经渲染（WiP） 精选的绝佳神经渲染资源清单！ 神经渲染是一种新兴技术，它设想了一种通过深度神经网络将3D对象（主要是3D对象）渲染为2D图像的方法，而不是传统的栅格化和光线跟踪。 太棒了！ 享受清单，欢迎！ 目录 学术出版物 调查 2020年 作者 标题 会场 项目 代码 等等。 Ayush Tewari等。 计算机图形学论坛 -- -- -- 神经辐射场（NeRF） 2020年 作者 标题 会场 项目 代码 等等。 本·米尔登霍尔（Ben Mildenhall）等。 NeRF：将场景表示为用于视图合成的神经辐射场 ECCV [项目] [TF（作者）] -- 2021年 作者 标题 会场 项目 代码 等等。 Stephan J. Garbin等。 FastNeRF：200FPS的高保真神经渲染 arXiv -- -- -- 亚历克斯
Differentiable Rendering & Neural Rendering
啊哈的专栏
04-16 1708
一个比较新的领域 https://arxiv.org/abs/1901.05567 https://arxiv.org/abs/1912.07372
【理解】神经立体渲染，NeRF
crazyang的博客
12-23 4960
参考自：https://dellaert.github.io/NeRF/ 这是我第一篇关于神经立体渲染的介绍，希望不断完善补充 2020年是神经立体渲染（neural volume rendering）爆发的一年。 更大的一个领域是神经渲染（Neural rendering），有一篇文章专门进行了介绍。 神经体积渲染是指通过追踪光线进入场景并对光线长度进行积分来生成图像或视频的方法。 一般来说，像多层感知器这样的神经网络会将一个函数从光线的三维坐标编码为密度和颜色等数量，然后将其整合以生成图像。 ...
State of the Art on Neural Rendering
lailuosanjiao的博客
07-04 540
4.1.5. 基于图像的渲染 与传统渲染（将3D内容投影到2D平面）不同，基于图像的渲染技术通过变换现有的一组图像（通常通过将它们扭曲并合成在一起）来生成新颖的图像。基于图像的渲染可以处理动画，如Thies等人[TZS 18]所示，但最常见的用例是静态对象的新视图合成，其中来自捕获视图的图像内容被扭曲成基于代理几何体和估计的相机姿势的新视图[DYB98，GGSC96，HRDB16]。为了生成一个完整的新图像，必须将多个捕获的视图扭曲到目标视图中，这需要一个混合阶段。生成的图像质量取决于几何体的质量、输入视图
Neural scene representation and rendering
qq_36356761的博客
06-27 1079
Neural scene representation and rendering Deep Mind! S. M. Ali Eslami, Danilo Jimenez Rezende, Frederic Besse, Fabio Viola, Ari S. Morcos, Marta Garnelo, Avraham Ruderman, Andrei A. Rusu, Ivo Danihe...
37、NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
小白的博客
09-05 2227
NeuS
Neural Object Capture and Rendering from Online Image Collections
02-07
"神经物体捕捉与在线图像集合中的渲染" 是一种技术，用于从在线图像集合中捕捉并渲染 3D 物体。这种技术利用神经网络（即人工智能模型）来处理图像数据，从而生成高质量的 3D 模型。它可用于许多应用，包括视觉搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值