PyTorch3D教程：基于渲染的纹理网格拟合技术详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01081/article/details/148418820

PyTorch3D教程：基于渲染的纹理网格拟合技术详解

pytorch3d PyTorch3D is FAIR's library of reusable components for deep learning with 3D data 项目地址: https://gitcode.com/gh_mirrors/py/pytorch3d

概述

本教程将介绍如何使用PyTorch3D库实现纹理网格的拟合优化。我们将通过以下核心步骤展示3D计算机视觉中的关键流程：

从OBJ文件加载带有纹理的3D网格模型
通过多视角渲染创建合成数据集
使用可微分渲染技术优化网格形状
联合优化网格形状和纹理参数

环境准备与模块导入

首先确保已安装PyTorch和PyTorch3D库。PyTorch3D提供了处理3D数据的专用数据结构与可微分渲染器，这是实现本教程功能的基础。

import torch
import matplotlib.pyplot as plt
from pytorch3d.utils import ico_sphere
from pytorch3d.io import load_objs_as_meshes
from pytorch3d.structures import Meshes
from pytorch3d.renderer import (
    FoVPerspectiveCameras,
    PointLights,
    MeshRenderer,
    MeshRasterizer,
    SoftPhongShader,
    SoftSilhouetteShader,
    TexturesVertex,
    RasterizationSettings
)

1. 网格与纹理加载

我们从一个OBJ文件加载3D网格模型及其关联的材质和纹理文件：

# 加载OBJ文件并创建Mesh对象
mesh = load_objs_as_meshes(["data/cow_mesh/cow.obj"], device=device)

# 对网格进行归一化处理
verts = mesh.verts_packed()
center = verts.mean(0)
scale = max((verts - center).abs().max(0)[0])
mesh.offset_verts_(-center)
mesh.scale_verts_((1.0 / float(scale)))

PyTorch3D中的Meshes数据结构可以高效处理批量网格操作，而Textures相关类则负责管理纹理信息。

2. 合成数据集创建

为了模拟真实场景，我们从多个视角渲染网格图像作为训练数据：

# 设置20个不同视角
num_views = 20
elev = torch.linspace(0, 360, num_views)
azim = torch.linspace(-180, 180, num_views)

# 配置相机和光照
lights = PointLights(device=device, location=[[0.0, 0.0, -3.0]])
R, T = look_at_view_transform(dist=2.7, elev=elev, azim=azim)
cameras = FoVPerspectiveCameras(device=device, R=R, T=T)

# 创建Phong着色渲染器
renderer = MeshRenderer(
    rasterizer=MeshRasterizer(cameras=camera, raster_settings=raster_settings),
    shader=SoftPhongShader(device=device, cameras=camera, lights=lights)
)

# 渲染多视角图像
meshes = mesh.extend(num_views)
target_images = renderer(meshes, cameras=cameras, lights=lights)

同时，我们还创建了轮廓图数据集，这在后续的形状优化中非常有用：

# 轮廓图渲染器配置
raster_settings_silhouette = RasterizationSettings(
    image_size=128,
    blur_radius=np.log(1./1e-4 - 1.)*sigma,
    faces_per_pixel=50,
)

renderer_silhouette = MeshRenderer(
    rasterizer=MeshRasterizer(cameras=camera, raster_settings=raster_settings_silhouette),
    shader=SoftSilhouetteShader()
)

3. 基于轮廓渲染的网格优化

我们从球体网格开始，通过优化顶点位置使其轮廓与目标轮廓匹配：

# 初始化源网格（球体）
src_mesh = ico_sphere(4, device)

# 可微分轮廓渲染器
renderer_silhouette = MeshRenderer(
    rasterizer=MeshRasterizer(
        cameras=camera,
        raster_settings=raster_settings_soft
    ),
    shader=SoftSilhouetteShader()
)

# 定义优化器
optimizer = torch.optim.Adam([deform_verts], lr=1.0)

# 优化循环
for i in range(iterations):
    # 计算损失函数
    loss = silhouette_loss + edge_loss + normal_loss + laplacian_loss
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

优化过程中使用了多种损失函数：

轮廓损失：衡量预测与目标轮廓的差异
边缘损失：保持网格边缘平滑
法线一致性损失：保持表面平滑
拉普拉斯损失：防止过度变形

4. 纹理优化技术

在优化网格形状后，我们还可以进一步优化纹理参数：

# 初始化纹理参数
texture_rgb = torch.rand(1, src_mesh.verts_packed().shape[0], 3, device=device)

# 创建可优化纹理
src_mesh.textures = TexturesVertex(verts_features=texture_rgb)

# 同时优化顶点位置和纹理
optimizer = torch.optim.Adam([deform_verts, texture_rgb], lr=0.03)

可视化与结果分析

我们提供了可视化函数来比较预测结果与真实数据：

def visualize_prediction(predicted_mesh, renderer, target_image, title=''):
    with torch.no_grad():
        predicted_images = renderer(predicted_mesh)
    plt.figure(figsize=(20, 10))
    plt.subplot(1, 2, 1)
    plt.imshow(predicted_images[0, ..., :3].cpu().detach().numpy())
    plt.subplot(1, 2, 2)
    plt.imshow(target_image.cpu().detach().numpy())
    plt.title(title)
    plt.axis("off")