深度学习_小白-优快云博客

原创《RECONX: RECONSTRUCT ANY SCENE FROM SPARSEVIEWS WITH VIDEO DIFFUSION MODEL》论文阅读

传统的3D重建方法主要用于处理经过校准的摄像机拍摄的真实照片，而直接应用这些方法于生成的视频时，由于生成图像的不确定性，难以恢复一致的3D场景。方差σi表示生成的视图与实际视图之间的差异。置信感知机制主要通过全局对齐生成帧的像素值，建模每个像素的颜色值为高斯分布，其中均值是生成帧的像素值，方差则衡量生成帧和真实帧的差异。”，也就是说，它不直接解决3D重建的病态问题，而是通过时间维度（视频序列）生成一个逐帧一致的3D场景。首先，利用3D结构引导来提升生成帧的质量，使其更加符合稀疏图像视角下的3D结构。

2024-10-15 22:22:54 1298 1

原创《LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors》论文阅读

DUSt3R方法使用了单一的置信度阈值，低于这个阈值的点会被清理掉，但这可能会错误地删除背景中的一些点，因为背景的置信度通常较低，尤其是远处的点。输入图像与高斯渲染图像成对输入模型，经过前向扩散和逆向扩散过程，逐步移除噪声，训练过程中结合噪声预测的损失函数进行优化。这些图像的生成过程采用加权混合算法，基于距离将3D点映射到图像的像素上，距离越近的点赋予更高的权重。使用图像扩散先验来增强3DGS渲染的图像，这些改进的图像进一步迭代优化3DGS，并将扩散模型先验引入以提高新视角合成的细节和质量。

2024-10-15 10:52:50 1114 1

原创《MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images》阅读笔记

该优化通过一个非常轻量级的 2D U-Net 实现，输入为多视角图像、特征和当前的深度预测，并输出每个视角的残差深度。残差深度随后与当前的深度预测相加，作为最终的深度输出。这种设计确保了模型能够接受任意数量的视角输入，因为它对每个视角执行与其他所有视角的交叉注意力计算，这一操作不依赖于视角的数量。每个视图的深度图通过反投影（unprojection）映射到3D空间，所有视图的深度信息通过一个简单的确定性联合操作（deterministic union operation）结合起来，得到3D高斯分布的中心。

2024-10-14 11:08:58 1250

programmer_A的博客

原创《RECONX: RECONSTRUCT ANY SCENE FROM SPARSEVIEWS WITH VIDEO DIFFUSION MODEL》论文阅读

原创《LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors》论文阅读

原创《MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images》阅读笔记

原创《CAMERAS AS RAYS: POSE ESTIMATION VIA RAY DIFFUSION》阅读笔记

原创《RelPose++: Recovering 6D Poses from Sparse-view Observations》阅读笔记

原创《ActionFormer: Localizing Moments of Actions with Transformers》阅读笔记

原创《DiffusionDet: Diffusion Model for Object Detection》阅读笔记

原创如何直接从arxiv引用BibTex

原创 Linux后台运行程序

原创关于复现DISN论文代码遇到的问题

原创常见错误统计

原创《3D Diffusion Policy》论文阅读

原创 Linue Blender的python解释器如何安装指定包

原创 THC/THC.h: No such file or directory

原创 Maskrcnn/Faster-rcnn安装过程中使用高版本torch

原创 Linux Anaconda3文件夹移动后，如何操作才能恢复如初

原创 Attributeerror: module ‘torch._c‘ has no attribute ‘doublestoragebase‘

原创 Mitsuba2 安装 Linux

空空如也

安装apex库遇到的问题

neo4j community与neo4j desktop

FileNotFoundError报错