30、深度学习助力多光子显微镜与多疾病检测

深度学习助力多光子显微镜与多疾病检测

深度学习集成多光子显微镜的现状与挑战

随着医学影像技术的不断进步，每天都会产生大量的医学图像。在多光子显微镜（MPM）领域，深度学习正发挥着越来越重要的作用，但也面临着一些挑战。

目前基于深度学习（DL）的分割方法存在一定的局限性。一些方法无法对来自各种成像系统的数据进行泛化，或者在处理大规模血管造影图像时计算上不可行。为了应对大规模血管造影的处理需求，需要一种不仅能适用于各种双光子显微镜（TPM）成像设置，而且快速且计算高效的血管分割方法。

传统的基于线性单光子吸收过程的3D光学显微镜（OM）方法，无论是落射照明还是平面照明模式，都仅限于对组织表面进行成像。因为随着深度增加，高度各向异性的散射会使图像模糊。除了直接获取抑制散射的图像外，还提出了一些基于硬件的计算方法，如自适应光学和散斑相关技术，用于从模糊信号中提取有用信息以恢复散射图像。

散射图像恢复的实践

以ScatNet为例，它在散射图像恢复方面取得了不错的效果。对于网络应用2，研究人员对珠子的另一个区域进行成像，以获得散射图像和相应的真实图像。ScatNet成功恢复了低质量的散射图像，显著提高了空间分辨率和结构相似度。

多视图光片荧光显微镜（LSFM）成像用于生成一组LSFM堆栈，然后进行配准和融合，以创建具有完整样本信号的3D图像。研究人员使用三组散射图像和真实图像创建了一个具有分层散射模型的训练系统，并将结果与原始图像在ScatNet实现中进行了比较。散射图像恢复的目标是从退化的输入图像中创建高质量的输出图像。

多光子显微镜在医学中的应用

数字染色与MPM图像解读