在医学图像生成中的潜力,对比GAN的优缺点

Diffusion Model

为了提高深度生成模型的性能,生成高分辨率的医学图像,方便医生诊断,我们提出了一种大规模扩散模型,该模型可以无条件地生成高分辨率 (256 × 256 × 256) 体积医学图像(头部磁共振图像)

2020 年,Jonathan Ho 等人(Ho et al 2020)提出了去噪扩散概率模型这种模型受到了非平衡热力学的启发,通过 在加权变分界限上的训练,取得了高质量的图像生成结果但是真实头部MR图像相对小的结构如海马体和皮质蛋白 DDPM不能很好的生成

2022 年,Robin Rombach等人(Rombach et al 2022)提出了一种新的隐空间扩散 模型(Latent Diffusion Models, LDM)降低了计算资源需求,同时保持图像生成的质量,研究者通过将交 叉注意力层引入U-Net网络架构中,使得扩散模型能够灵活应对各种条件输入
有研究者发现,surf-DDPM预测模型的最优超参数组合为:线 23 性噪声调度时间表函数、1000 步噪声扩散时间步及 3 层下采样的 Unet 结构。 在该配置下,模型收敛速度最快,误差损失值最低,并显著提升了去噪生成的计算效率

有研究者使用改进的DDPM( DDPM 的低内存消耗新架构)实现了最先进的无条件和有条件高分辨率体积图像生成,还提出了一种新的 LDP 和后处理算法,可以基于 DDPM 生成同一类语义不同的图像 (头部 MR 图像) 并进行了验证

将扩散模型的强大生成能力应用于医学图像生成领域, 通过结合医学领域的专业知识和扩散模型的先进技术,可以更准确地生成具有医学 意义的图像,为医学诊断、治疗和研究提供更多可能性

在未来,DDPM 的这种改进以及 LDP 算法与 DDPM 相结合的制定有助于在数据处理上游安全共享实际图像,surf-DDPM 在保证预测精度的同时,大幅降低了 CFD 计算成 本,展现出在复杂非定常流场建模中的应用潜力。未来研究可进一步优化模型结 构,降低高梯度区域误差,以进一步增强预测精度与泛化能力,或者发明一种新的方法来评估生成的医学图像的种类数量,从而方便医生对疾病的诊断

对比GAN的优缺点

随着扩散模型不断发展和改造,,已经证明了其在生成高质量图像 方面的优越性模型不仅能够生成逼真的图像,还能够控制图像的特定属性,从而 满足不同应用场景的需求,,扩散概率模型能够合成各种组织病理学图像,而且与生成式对抗网络相比性能更优

但是内存消耗很大,存在限制,如果没有模型并行化或大容量内存 GPU,将当前模型直接扩展到 512 × 512 × 512 的分辨率并不容易,传统的扩散模型生成高质量样本通常要进行数百至千次迭代

对于一些困难的结构(皮髓造影剂和海马体)通常,简单的降噪后处理无法恢复原始生成的体积中未表示的结构,要评估生成的医学图像的质量,顺序对比度-噪声比 (CNR) 或结构相似性指数测量 (SSIM) 是不够的,相对解剖结构的忠实再现必须由医学专家确认

另一方面,广义图像的统计多样性数量是生成模型的另一个质量衡量标准,但是,很难公平地评估给定模型生成的各种医学图像的数量,因为医学图像生成太过多样化

GAN对比下来生成速度较快,但多样性有限

引用

柴田,H.;花冈,S.;中尾,T.;菊池,T.;中村 Y.;野村,Y.;吉川,T.;阿部 基于高分辨率体积图像的去噪扩散概率模型,生成具有可证明隐私保护的实用医学图像。应用科学。 2024, 14, 3489. https://doi.org/10.3390/app14083489

引用本文:白靖宜, 黄桥高, 高鹏骋, 问昕, 褚勇. 基于去噪概率扩散模型的蝠鲼流场智能化预测研究. 物理学报. doi: 10.7498/aps.74.20241499 

shu

Citation:BAI Jingyi, HUANG Qiaogao, GAO Pengcheng, WEN Xin, CHU Yong. Intelligent Prediction of Manta Ray Flow Field Based on a Denoising Probabilistic Diffusion Model. Acta Phys. Sin.. doi: 10.7498/aps.74.20241499 

shu

ZHEN PAN, ZHANG BANGNING, WANG HENG, et al. SC-GAN:A Spectrum Cartography with Satellite Internet Based on Pix2Pix Generative Adversarial Network[J]. 中国通信(英文版),2025,22(2):47-61. DOI:10.23919/JCC.fa.2024-0269.202502.

巴塔德,A.,麦基,D.,霍伊姆,D.& Forsyth, D. A.(2023). StyleGAN 知道 Normal、Depth、Abbedo 等。神经信息处理系统的进展36

周朝阳. 基于扩散模型的医学图像生成方法研究[D]. 湖北:华中农业大学,2024.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值