材质 | Vol.6 一种材料外观相似性度量的方法

专题介绍

在实时渲染和离线渲染领域，对场景模型表面以及空间介质的精细化建模是增加场景真实感的重要手段。计算机图形学领域的许多科研工作者设计出一系列复杂精巧的技术理论，模拟出光线从宏观世界到微观粒子的变化规律。本期专题精选了近年来关于微表面模型、次表面散射模型等相关前沿工作，为读者解读其中的关键技术。

一、简介

人们能够识别不同材质的外观，但是相应的底层机制一直未被完全探索清楚，因此对材料外观相似程度的度量还是一个开放问题。

材料的外观可以被定义为我们对于材质的视觉印象，它依赖于材料的BRDF，还依赖于一些外部特性，如光照、几何和人类的判断。

该问题对于计算机生成真实感图像和计算材料学都有着很重要的意义。

该论文的内容主要提出了根据学习得到的特征空间进行基于图形的材料相似度的判断方法，且综合使用了大量的图像，众包数据和深度学习的方法。

使用的数据集为三菱的MERL数据库。

二、数据集

根据该论文的目的，对数据集有如下要求：

数据需要涉及到许多材质、形状和光照条件。

数据集中需要有相同材质在不同光照和不同形状的绘制效果。

材质可以通过measured BRDFs 来描述，同时需要有从现实材料捕捉到的反射数据。

现实世界的光照条件。

大量的数据样本。

对于数据集中的每一个样本，都有：

一张HDR图像

一张LDR图像

深度

表面normal

alpha 通道

ambient occlusion map

数据集的图像如图所示：

三、收集外观相似性信息

数据集中共有100种材料，采取的光照环境为Ennis，采用众包的方式在Mechanical Turk（MTurk）平台上进行众包测试，其中参与者共603人，平均年龄为32岁，46.27%为女性。

在实验中采取2ACF scheme，即提供一个图像的三元组，其中一个为refrence image，参与者需要作出判断，剩余的两张图像哪个与refrence image在外观上更为相似。

该论文中采取了daptive sampling的方法，在该方法中进行了25次循环，每次循环中对于每个refrence选取10个新的样本，最终得到了1000个三元组，并且对于每个三元组的判断至少由5个用户完成。其中每个循环中的流程分为两步：

根据得到的三元组来拟合出一个Kernel K

对于每个参照图像（refrence image）选择一组比较得到获得信息最大的组合（r，a，b）

四、学习网络感知的相似性

采用ResNet的架构，根据输入的图像 ϕ 学习得到特征向量 f(ϕ) ，对应的网络结构如图所示：

在该网络中，定义的Loss函数为：

训练中利用7800张image生成了39000张图像并进行训练，采用corrected Adam optimizaion来进行优化，初始的学习率设置为 10−3 ，训练了80个epochs，学习率在每20个epoch中都会降为 110 ，最终得到的特征向量f(ϕ)

为128维向量，采用 μ=0.3 作为margin的值。

五、结果评估

准确率较高，困惑率较低，与人的感知较为接近。采用ablation study（消融实验）发现设计的Loss得出的结果最好，且ResNet的训练结果要好于VGG和DenseNet。

六、应用

可应用于模型的建议：

也可以应用于材质数据集的可视化：

可以应用于数据库的聚类：

七、总结

本文主要综合采用了众包、深度学习的方法来进行材质相似性的度量研究，得到的结果较好，对研究工作有一定的指导意义。

*本文由 赵翔宇 同学进行整理，如有错漏之处，敬请指正。

[1] Manuel Lagunas, Sandra Malpica, Ana Serrano, Elena Garces, Diego Gutierrez, and Belen Masia. 2019. A similarity measure for material appearance. ACM Trans. Graph. 38, 4, Article 135 (August 2019), 12 pages. https://doi.org/10.1145/3306346