WDM-3D项目中的FID与MS-SSIM指标评估问题解析

WDM-3D项目中的FID与MS-SSIM指标评估问题解析

wdm-3d PyTorch implementation for "WDM: 3D Wavelet Diffusion Models for High-Resolution Medical Image Synthesis" (DGM4MICCAI 2024) 项目地址: https://gitcode.com/gh_mirrors/wd/wdm-3d

在医学图像生成领域，WDM-3D项目提供了一个基于小波扩散模型的3D医学图像生成框架。本文针对该项目中FID（Frechet Inception Distance）和MS-SSIM（多尺度结构相似性）指标评估过程中出现的问题进行深入分析，帮助研究人员正确理解和使用这些评估指标。

评估指标差异现象

研究人员在使用WDM-3D预训练模型(brats_unet_128_1200k.pt)进行156张图像的推理时，发现FID值为176.4371，MS-SSIM为0.8892，与论文报告结果存在显著差异。自行训练模型在100,000次迭代时FID为141.5412(MS-SSIM 0.8929)，210,000次迭代时FID为156.3899(MS-SSIM 0.8747)，同样与预期不符。

问题根源分析

经过深入调查，发现问题主要出在评估样本数量上。WDM-3D代码中默认设置sets.num_samples为1000，这意味着评估时会初始化一个包含1000个条目的特征数组。当实际只生成156个样本时，剩余的844个条目会被np.empty初始化为任意值，导致FID计算出现严重偏差。

正确评估方法

要获得可靠的评估结果，必须确保：

1. 评估样本数量与代码设置一致，建议使用默认的1000个样本
2. 真实数据集参考图像数量应足够大，最好使用完整数据集
3. 对于MS-SSIM指标，需要理解其反映的是生成图像的多样性

MS-SSIM指标的正确解读

MS-SSIM用于衡量生成图像的多样性，其值越低表示生成图像间的相似度越低，即多样性越好。这与通常的图像质量评估指标不同，研究人员常误认为高MS-SSIM代表更好结果，实际上在生成任务中，我们期望的是适度的低MS-SSIM值。

实践建议

1. 进行指标评估时，务必检查样本数量设置
2. 对于小规模实验，应相应调整num_samples参数
3. 理解不同指标的实际含义，避免错误解读
4. 对比实验结果时，确保评估条件一致

通过正确设置和解读这些指标，研究人员可以更准确地评估WDM-3D模型的性能，为医学图像生成任务提供可靠的量化依据。

wdm-3d PyTorch implementation for "WDM: 3D Wavelet Diffusion Models for High-Resolution Medical Image Synthesis" (DGM4MICCAI 2024) 项目地址: https://gitcode.com/gh_mirrors/wd/wdm-3d