Differentiable Rendering & Neural Rendering

最新推荐文章于 2025-09-17 09:09:18 发布
原创 最新推荐文章于 2025-09-17 09:09:18 发布 · 1.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文聚焦于神经渲染领域的前沿研究，介绍了2019至2020年间的几项重要成果，包括理论突破和实际应用案例。通过链接提供的资源，读者可以深入了解神经渲染的技术细节及其在计算机视觉和图形学中的潜力。
啊哈2020
关注
【ACM_2023】3D Gaussian Splatting for Real-Time Radiance Field Rendering
zik的博客
06-28 2461
【Project】引入了三个关键要素，能够在保持有竞争力的训练时间的同时实现最先进的视觉质量，并且重要的是允许以 1080p 分辨率进行高质量实时（≥ 30 fps）新颖的视图合成。首先，从相机校准期间产生的稀疏点开始，用 3D 高斯表示场景，保留连续体积辐射场的所需属性以进行场景优化，同时避免在空白空间中进行不必要的计算；其次，对 3D 高斯进行交错优化/密度控制，特别是优化各向异性协方差以实现场景的准确表示；第三，开发了一种快速可见性感知渲染算法，该算法支持各向异性泼溅，既加速训练又允许实时渲染。
Neural scene representation and rendering
qq_36356761的博客
06-27 1104
Neural scene representation and rendering Deep Mind! S. M. Ali Eslami, Danilo Jimenez Rezende, Frederic Besse, Fabio Viola, Ari S. Morcos, Marta Garnelo, Avraham Ruderman, Andrei A. Rusu, Ivo Danihe...
1、Neural Rendering
小白的博客
07-14 955
3d
differentiable rendering可微分渲染
weixin_51994965的博客
04-18 1990
普通的渲染过程通常是将3D场景扔进渲染器获得2D图像，而在图形学领域还有一个研究方向叫逆向绘制(Inverse Rendering)。就是给你2D图像，获得生成这张图像所需的3D场景信息，这个信息可以是3D几何，灯光，材质，视角中的一种或多种。 以前大家做逆向绘制都是从2D图像出发，和CV的研究方式比较接近。这个可能主要是因为以前做一次绘制的时间太耗时了。而现在神经网络上的Forward-Backward 这种优化方式证明了非常大的潜力，现在GPU的计算力也越来越厉害。所以在做逆向绘制的时候也就
深度揭秘神经渲染：从原理到实践的全面指南
最新发布
code_12code的博客
09-17 534
神经渲染：融合深度学习与图形学的前沿技术 摘要：神经渲染作为计算机视觉与图形学的新兴交叉领域，利用神经网络模拟光线传播和材质反射等物理过程，实现了比传统渲染更高效逼真的图像合成。其核心技术包括神经场表示、体积渲染算法和视角一致性训练，典型应用如NeRF模型通过隐式学习场景属性。尽管存在训练成本高、实时性不足等挑战，神经渲染在VR/AR、影视特效等领域展现出巨大潜力。随着多尺度特征融合、稀疏表示优化等技术的突破，结合硬件加速的发展，神经渲染正推动着虚拟内容创作的技术革新。
Neural Volumes Rendering(一)
soaring_casia的专栏
06-07 2522
1.前言 我们还是秉承，尽量使用一些直白的语言来描述一些酷炫的工作。 Neural Volumes(NV)[1] 是 Stephen Lombardzai(Facebook)在2019 年SIGGRAPH发表的工作，虽然NeRF的影响力是更大的，但是可以确定的是，NV是VolumeRendering在神经渲染方面上的首次应用，并且NV的一些思想在之后的许多工作中都有体现，因此本文将会单独对 NV进行介绍，希望本文能为大家建立一些 VolumeRendering的概念。 ...
【理解】神经立体渲染，NeRF
crazyang的博客
12-23 5041
参考自：https://dellaert.github.io/NeRF/ 这是我第一篇关于神经立体渲染的介绍，希望不断完善补充 2020年是神经立体渲染（neural volume rendering）爆发的一年。 更大的一个领域是神经渲染（Neural rendering），有一篇文章专门进行了介绍。 神经体积渲染是指通过追踪光线进入场景并对光线长度进行积分来生成图像或视频的方法。 一般来说，像多层感知器这样的神经网络会将一个函数从光线的三维坐标编码为密度和颜色等数量，然后将其整合以生成图像。 ...
State of the Art on Neural Rendering
lailuosanjiao的博客
07-04 575
4.1.5. 基于图像的渲染 与传统渲染（将3D内容投影到2D平面）不同，基于图像的渲染技术通过变换现有的一组图像（通常通过将它们扭曲并合成在一起）来生成新颖的图像。基于图像的渲染可以处理动画，如Thies等人[TZS 18]所示，但最常见的用例是静态对象的新视图合成，其中来自捕获视图的图像内容被扭曲成基于代理几何体和估计的相机姿势的新视图[DYB98，GGSC96，HRDB16]。为了生成一个完整的新图像，必须将多个捕获的视图扭曲到目标视图中，这需要一个混合阶段。生成的图像质量取决于几何体的质量、输入视图
ADOP: Approximate Differentiable One-Pixel Point Rendering
初见月
10-22 837
提出了一种新颖的基于点的、可微的神经渲染管线，用于场景精化和新颖的视图合成
LatentFusion:End-to-End Differentiable Reconstruction and Rendering for Unseen Object Pose Estimatio
不忘初心~
11-15 1337
作者提出了一种新的6D位姿估计框架。设计了一个网络，它`在推理时使用少量的参考视图重建一个对象的潜在3D表示。该网络能够从任意视图中渲染潜在的3D表示`。使用该神经渲染器，可以针对给定输入图像的姿势直接进行优化， 通过使用大量3D形状训练该网络以进行重构和渲染，该网络可以很好地推广到没有见过的对象。另外作者还`提出了一个新的用于不可见目标姿态估计的数据集——MOPED
[2025CVPR最佳学生论文]Neural Inverse Rendering from Propagating Light
hasakie的博客
07-08 1342
本文提出首个多视角传播光的神经逆渲染系统，通过时间分辨辐射缓存、可微渲染方程和物理约束优化三大创新技术，解决了传统LiDAR忽略间接光的缺陷。系统采用哈希编码存储场景辐射分布，分离计算直接光和神经预测间接光，建模光脉冲传播过程。实验验证在仿真和真实数据中均优于现有方法（PSNR 30.99，法向误差8.45°）。应用包括瞬态重光照、材质分解和非视域成像，其中非视域重建精度达89%。该方法使强间接光场景的几何误差降低72%，计算效率提升23倍，但存在硬件依赖SPAD传感器和计算耗时（>24小时/A100
【读论文】3D Gaussian Splatting for Real-Time Radiance Field Rendering
小白有颗大白梦的博客
03-12 1926
3D Gaussian Splatting论文阅读笔记
Neural-Rendering-Papers:“数据科学家应该回想起创新常常不是在提供精美的算法，而是为客户创造价值。”-Damian Mingle
03-31
神经渲染纸
differentiable_volumetric_rendering:该存储库包含CVPR 2020论文“可区分的体积渲染”的代码。
03-20
可微分的体积渲染 ||||| 该存储库包含论文“可的代码。 您可以在下面找到有关训练自己的模型和使用预先训练的模型的详细使用说明。 如果您发现我们的代码或书面文件有用，请考虑引用 @inproceedings{DVR, title = {Differentiable Volumetric Rendering: Learning Implicit 3D Representations without 3D Supervision}, author = {Niemeyer, Michael and Mescheder, Lars and Oechsle, Michael and Geiger, Andreas}, booktitle = {Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)
Neural Rendering: 深度学习在计算机图形学中的新篇章
2401_87189860的博客
09-06 2113
神经渲染是一种将深度学习技术与传统计算机图形学渲染方法相结合的新兴技术。它利用神经网络来学习复杂的几何形状、材质属性和光照信息,从而生成高质量的图像或视频。与传统的基于物理的渲染方法相比,神经渲染能够更好地处理复杂的光照效果、材质和几何形状,同时具有更高的渲染效率。神经渲染的核心思想是利用神经网络来学习从3D场景到2D图像的映射关系。这种方法不仅可以生成逼真的图像,还可以实现各种图像编辑和操作任务,如视角合成、光照编辑、材质迁移等。神经渲染作为深度学习与计算机图形学的交叉点,正在开创计算机图形学的新纪元。
【调研】虚拟人 & 深度神经渲染（neural rendering）
fahaihappy的专栏
01-18 2437
点击上方“AI搞事情”关注我们据天眼查数据显示，我国现有“虚拟人”、“数字人”的相关企业28.8万余家。2016-2020年，5年新增注册企业增速复合增长率近60%，行业进入爆发期。百度公司发布了数字人平台——百度智能云曦灵，通过百度智能云曦灵平台的开放，让每个人实现数字人自由。字节跳动则推出了沉浸式虚拟社交平台Pixsoul，还全资入股了拥有虚拟偶像团体A-SOUL著作权的公司，并收购了VR创业...
Neural Inverse Rendering for General Reflectance Photometric Stereo阅读
qq_37626251的博客
01-09 1676
用于一般反射光度立体模型的逆渲染神经网络 摘要 我们提出了一种用于光度立体（Woodham，1980）的新型卷积神经网络体系结构，该问题是从在不同照明下观察到的多个图像中恢复3D对象表面法线的问题。尽管它在计算机视觉领域具有悠久的历史，但是对于具有未知的一般反射特性（BRDF）的表面，该问题仍然显示出基本的挑战。利用深层神经网络来学习复杂的反射模型是有前途的，但是由于难以获得准确的GroundTr...
Differentiable Image Parameterizations
SunJackson的博客
07-27 961
A powerful, under-explored tool for neural network visualizations and art. Authors Affiliations Alexander Mordvintsev Affiliations Google AI Nicola Pezzotti Google AI Ludwig Schubert Google...
DeepMind Sceince文章：Neural scene representation and rendering，官方blog解读
qq_26815239的博客
07-02 1563
There is more than meets the eye when it comes to how we understand a visual scene: our brains draw on prior knowledge to reason and to make inferences that go far beyond the patterns of light that hi...
SDFDiff: Differentiable Rendering of Signed Distance Fields for 3D Shape Optimization
07-25
C知道: 对于3D形状优化，SDFDiff是一种可微分渲染方法，用于处理有符号距离场（Signed Distance Fields）的优化问题。SDFDiff的目标是通过对SDF进行优化，来改善三维形状的外观和性能。 传统的SDF优化方法通常使用离散化网格表示，并通过离散化的方式对形状进行调整。然而，这种方法在处理复杂形状时存在一些限制，并且无法提供光滑的形状变化。 SDFDiff通过将SDF视为函数，并利用函数的可微性质，使其能够直接应用于渲染过程中。具体而言，它使用了渲染方程和光线追踪技术来计算SDF的梯度，并利用这些梯度进行形状优化。 SDFDiff的优点是可以处理复杂形状，并且能够提供光滑的形状变化。它还可以与其他优化算法结合使用，例如梯度下降或优化器，以进一步改善形状。 总而言之，SDFDiff是一种针对3D形状优化的可微分渲染方法，通过对SDF进行优化来改善形状的外观和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值