小白学习医学图像处理的第一_医学图像处理学习内容-优快云博客

本文链接：https://blog.youkuaiyun.com/ccslyly/article/details/147285644

论文学习进度

所读论文笔记

基于多模态特征分析学习的脑出血预测方法_陈萍_unlocked_注释笔记

1. 文本下划线 (Page 5) 20%-30%的脑出血患者会出现早期血肿扩大现象

2. 文本下划线 (Page 5) 诊断主要靠专业医师根据患者入院时第一次扫描的 CT 影像和随访临床记录的信息

3. 文本下划线 (Page 5) 关注医学图像信息的处理

4. 文本下划线 (Page 5) 还原医师实际诊断综合分析医学图像和医学文本信息的脑出血早期血肿诊断系统，

5. 文本下划线 (Page 5) 早期血肿诊断精度

6. 文本下划线 (Page 5) 利用不同领域方法的脑出血早期血肿预测分类模型

7. 文本下划线 (Page 5) 仅靠单一图像信息的问题

8. 文本下划线 (Page 5) 感兴趣区域提取图像特征作为主要特征，再经过多步筛选得到高度相关图像特征，对临床文本特征进行单因素和独立危险因素筛选辅助图像特征来优化分类模型性能，将筛选之后的高度相关图像特征和临床文本信息特征结合输入不同的分类器中选出最优组合

9. 文本下划线 (Page 5) 五折交叉验证和测试来对比模型性能

10. 便签1 (Page 5)标注：机器学习及医学领域：受试者工作特征曲线（Receiver Operating Characteristic Curve, ROC 曲线）

一、定义 ROC 曲线是一种用于评估二分类模型性能的图形化工具。它以假阳性率（False Positive Rate, F PR）为横坐标，真阳性率（True Positive Rate, TPR）为纵坐标，通过改变分类阈值，得到一系列的（FPR, TPR）点，将这些点连接起来就形成了 ROC 曲线。

二、相关概念 1、假阳性率（FPR）：表示模型错误地将负类样本预测为正类的比例，即 FPR= fracFPFP+TN，其中 FP 是假阳性数，TN 是真阴性数。 2、真阳性率（TPR）：也称为灵敏度或召回率，表示模型正确地将正类样本预测为正类的比例，即 TPR= fracTPTP+FN，其中 TP 是真阳性数，FN 是假阴性数。 3、曲线下面积（Area Under the Curve, AUC）：ROC 曲线下的面积，用于量化模型的性能。A UC 的取值范围在 0 到 1 之间，AUC 越接近 1，表示模型的区分能力越强；AUC 等于 0.5 时，表示模型的预测结果与随机猜测无异。

三、应用 1、模型评估：通过比较不同模型的 ROC 曲线和 AUC 值，可以直观地评估模型的性能优劣。RO C 曲线越接近左上角，模型性能越好；AUC 值越大，模型的区分能力越强。 2、阈值选择：ROC 曲线可以帮助选择合适的分类阈值。在实际应用中，需要根据具体需求平衡真阳性率和假阳性率，通过分析 ROC 曲线，可以找到使两者达到最佳平衡的阈值。 3、医学诊断：在医学领域，ROC 曲线被广泛用于评估诊断测试的准确性。例如，通过绘制某种疾病诊断测试的 ROC 曲线，可以确定最佳的诊断阈值，帮助医生更准确地判断患者是否患病。

11. 便签2 (Page 5)标注：SVM是支持向量机（Support Vector Machine）的简称，它是一种广泛应用于监督学习的机器学习算法，主要用于分类和回归任务，尤其在分类问题上表现出色。以下是对SVM的详细介绍

：一、核心原理 SVM的核心目标是构建一个最优的线性或非线性决策边界（超平面），将不同类别的数据点尽可能分开，并使间隔最大化。这里的“间隔”指的是超平面与最近数据点之间的距离，SVM通过最大化这个间隔来提高模型的泛化能力，减少过拟合的风险。二、关键概念支持向量：位于间隔边界上的数据点被称为支持向量，它们对超平面的位置有直接影响，是定义最佳决策边界的关键。超平面：在二维空间中表现为直线，三维空间中表现为平面，更高维空间中则称为超平面。它是S VM用于分类的线性边界。核函数：当数据在原始特征空间中线性不可分时，SVM通过核函数将数据映射到高维特征空间，使其变得线性可分。常用的核函数包括线性核、多项式核、径向基函数（RBF）核等。

三、算法特点高效处理非线性问题：通过核函数，SVM能够处理复杂的非线性关系，使得原本在低维空间中线性不可分的数据在高维空间中变得线性可分。抗过拟合：SVM通过最大化间隔来减少模型对训练数据中噪声的敏感性，从而提高模型的泛化能力。小样本学习：SVM在小样本数据集上也能表现出色，适合处理数据量有限但特征维度较高的问题。不依赖全数据集：SVM的训练过程主要依赖于支持向量，而不是整个数据集，这使得它在处理大规模数据时具有较高的效率。 12. 便签3 (Page 5)标注：HCR（Hand-Crafted Radiomics）即手工制作放射组学，是基于预定义的数学公式从医学图像中提取纹理和形状描述符，用于定量分析影像特征以辅助疾病诊断和预后评估。以下是对其核心内容的详细解释：

一、定义与原理 HCR是一种影像组学方法，它基于预定义的数学公式，从医学图像（如CT、MRI、PET等）中提取纹理和形状描述符。这些描述符能够量化影像中的空间关系和强度分布，为疾病的诊断和预后提供重要信息。

二、特征提取方法 HCR的特征提取通常依赖于开源框架（如pyradiomics），通过解析计算完成。这些特征包括但不限于强度、形状、纹理等方面的信息，能够全面反映影像中的空间和时间异质性。

三、应用优势 1、泛化能力：由于HCR基于预定义的数学公式，因此其特征提取方法具有一定的通用性，能够在不同数据集和疾病类型中应用。 2、可解释性：HCR提取的特征与影像中的具体结构或模式相关联，因此其结果具有一定的可解释性，有助于医生理解模型的决策过程。

四、局限性 1、特征复杂性：HCR的预定义和通用定义可能使其不太适合特定任务，尤其是在需要揭示体素之间复杂关系的情况下。 2、依赖人工设计：HCR的特征提取方法依赖于人工设计的数学公式，这可能导致某些重要特征的遗漏或误判。

五、与深度学习放射组学的结合为了克服HCR的局限性，研究者们提出了将HCR与深度学习放射组学（DLR）相结合的方法。DL R使用深度神经网络进行特征提取，能够揭示体素之间的额外复杂关系。通过结合HCR和DLR的特征，可以构建更全面、更准确的预测或预后模型。例如，在基于MRI结合影像组学的方法中，将H CR特征与DLR特征相结合，可以显著提高单发脑转移瘤和胶质母细胞瘤的鉴别诊断性能。

13. 便签4 (Page 6)标注：LR是“逻辑回归”（Logistic Regression）的简称，以下是对其的详细介绍：

一、定义与原理定义：逻辑回归是一种用于解决二分类问题的统计学习方法，通过计算事件发生的概率来进行分类。原理：逻辑回归基于逻辑函数（Logistic Function），也称为Sigmoid函数，将线性回归模型的输出映射到0到1之间的概率值。其中，P(y=1∣x)表示在给定输入特征x的条件下，输出y=1的概率；w是权重向量；b是偏置项；e 是自然常数。

二、特点与优势 1、简单易懂：逻辑回归模型结构简单，参数解释性强，易于理解和实现。 2、计算效率高：由于模型结构简单，逻辑回归在训练和预测时的计算效率较高。 3、可解释性强：逻辑回归模型的系数可以解释为特征对分类结果的影响程度，有助于理解模型的决策过程。

三、与支持向量机（SVM）的比较：SVM是一种更强大的分类器，尤其在处理高维数据和非线性问题时表现优异。然而，SVM的计算复杂度较高，且参数选择对模型性能影响较大。相比之下，逻辑回归在计算效率和可解释性方面具有优势。

14. 文本下划线 (Page 6) SVM model 为最优分类组合 15. 文本下划线 (Page 6) 脑出血血肿区域变化进行打分预测 16. 便签5 (Page 6)标注：Nomogram（诺莫图）是一种基于多因素回归分析的预测工具，能够将复杂的统计模型转化为直观的图形表示，帮助用户根据个体特征预测特定结局的概率。

一、定义与原理 1、定义：Nomogram，又称列线图或诺模图，是一种图形化工具，用于展示多个变量之间的关系，并通过图形化的方式计算和预测结果。

2、原理：Nomogram基于多因素回归模型（如Cox回归、Logistic回归等），根据模型中各变量对结局变量的影响程度（回归系数），为每个变量的取值水平赋分，最终通过总评分与结局事件发生概率之间的函数关系，计算出个体结局事件的预测概率。

3、特点与优势直观易懂：Nomogram将复杂的回归方程转化为可视化的图形，使得预测结果更易于理解和解释。

4、个体化预测：用户可以根据个体的特征值（如年龄、性别、疾病状态等）在Nomogram上找到对应的点，通过简单的计算得出个性化的预测结果。

5、广泛应用：Nomogram在医学、生物学、工程学等多个领域都有应用，尤其在肿瘤学、心血管疾病预测等领域，能够为临床决策提供重要参考。

6、构成要素（1）变量轴：每个变量（如年龄、性别、血压等）都有一个单独的轴，轴上标注了该变量的取值范围。（2）点数轴：用于将变量值转换为点数，点数反映了该变量对预测结果的贡献程度。（3）总分轴：汇总所有变量的点数，得到总评分。（4）概率轴：根据总评分预测事件发生的概率。

7、应用示例医学领域：Nomogram常用于预测肿瘤患者的生存率、疾病复发风险等。例如，通过构建多因素回归模型，根据患者的年龄、肿瘤分期、治疗方案等因素，绘制Nomogram，帮助医生评估患者的预后。

8、绘制与解读（1）绘制步骤：数据收集与处理：收集包含多个自变量和因变量的数据集，并进行预处理。模型选择与拟合：根据研究目的选择合适的回归分析方法，拟合模型并优化。绘制Nomogram：将模型参数转化为图形化的形式，绘制Nomogram。（2）解读方法：找到每个变量在变量轴上的取值点。根据取值点在点数轴上找到对应的点数。将所有变量的点数相加，得到总评分。在概率轴上找到总评分对应的预测概率。

17. 文本下划线 (Page 6) 医学图像的深层特征对模型的预测

18. 便签6 (Page 6)标注：Vision Transformer（ViT）是一种基于 Transformer 架构的深度学习模型，由 Google 研究团队于 2020 年提出，旨在将自然语言处理（NLP）中取得显著成功的 Transformer 模型引入计算机视觉领域。

一、核心原理 1、图像分块（Patch Partitioning）：将输入图像分割成固定大小的图像块（patches），每个图像块被展平并嵌入到高维向量空间中。 2、位置编码（Positional Encoding）：由于 Transformer 缺乏对序列顺序的感知，ViT 引入了位置编码来保留图像块之间的空间位置信息。 3、自注意力机制（Self-Attention）：通过多头自注意力机制，ViT 能够捕捉图像块之间的长距离依赖关系，从而有效地处理全局信息。 4、分类标记（Classification Token）：在图像块嵌入序列中添加一个特殊的分类标记（class to ken），该标记在 Transformer Encoder 的输出中被用作图像表示，用于图像分类任务。

二、模型结构 ViT 的模型结构主要分为三大模块： 1、输入预处理模块： Patch Embedding：将输入图像分割成图像块，并通过线性投影将每个图像块转换为固定维度的向量。 Class Embedding：添加一个可学习的分类标记，用于最终的类别预测。 Position Embedding：生成可学习的位置编码，与图像块嵌入和分类标记相加，形成可供 Transf ormer Encoder 输入的图像序列。 2、特征提取模块： Transformer Encoder：由多个结构相同的 Transformer Block 堆叠而成，每个 Block 包含多头自注意力机制和前馈神经网络层，能够捕捉图像中不同位置的上下文依赖关系。 3、预测输出模块： MLP Head：一个全连接层，用于将经过 Transformer Encoder 编码得到的序列特征映射成最终模型预测的类别个数。

三、优势 1、全局信息捕捉：与传统的卷积神经网络（CNN）相比，ViT 通过自注意力机制能够更有效地捕捉图像中的全局信息和长距离依赖关系。 2、灵活性：ViT 的模型设计更加灵活，不依赖于卷积操作中的归纳偏置（如平移不变性和局部感知性），这使得 ViT 在处理不同类型的数据时具有更强的泛化能力。高效的特征提取：ViT 通过多头自注意力机制能够并行处理图像块，提高了特征提取的效率。 3、可扩展性：ViT 在模型规模上的扩展性非常好，即模型越大效果越好。这一点在大规模数据集上的预训练尤为明显，ViT 能够通过增加模型大小来提升性能。

四、应用场景 ViT 在多个计算机视觉任务中取得了显著成效，包括但不限于：图像分类：在 ImageNet 等大型数据集上，ViT 的性能已经超越了传统的 CNN 模型。

目标检测：通过结合 ViT 和检测算法（如 Faster R-CNN），可以实现更精确的目标检测。

图像分割：ViT 的全局注意力机制有助于捕捉图像中的细粒度信息，从而提高图像分割的精度。

图像生成：通过建模图像块之间的关系，ViT 可用于生成对抗网络（GAN）和扩散模型，实现高质量图像生成。

多模态学习：结合文本、音频等多种数据，ViT 在图像描述、视觉问答等任务中表现出色。视觉语言模型：ViT 在 CLIP 和 DALL-E 等模型中实现了文本与图像的跨模态理解与生成。

19. 文本下划线 (Page 6) 临床文本信息与 VIT 的 Patch Embedding 模块相结合

20. 文本下划线 (Page 6) 空间域的特征转换到频域上进行图像处理

21. 文本下划线 (Page 6) 空间域的特征转换到频域上进行图像处理

22. 文本下划线 (Page 10) 血肿扩大是指患者基线 CT 与随访 CT 之间视觉上可辨别的血肿体积变化，

23. 文本下划线 (Page 10) 并且血肿相关研究对血肿体积增长的评估各不相同

24. 文本下划线 (Page 10) 准确识别脑出血早期血肿扩大与血肿内低密度、混合征、黑洞征、岛征和计算机断层扫描血管造影（CT Angiography，CTA）有着密切的关系

25. 文本下划线 (Page 10) 造影剂过敏的患者而言，CTA 并不是急性诊断检查的首选，计算机断层扫描是诊断脑出血扫描方法的第一选择

26. 文本下划线 (Page 10) CT 扫描仪、核磁共振成像仪和 CTA 造影仪

27. 文本下划线 (Page 10) 高通量计算从断层图像（计算机断层扫描图像、磁共振图像和正电子发射断层图像）上

所读论文综述

摘要

脑出血作为致命的中风形式之一，具有高发病率和高死亡率的特点。早期血肿扩大是增加患者死亡风险和加重神经功能损伤的独立预测因素。准确识别早期血肿扩大对于评估患者预后和指导临床决策至关重要。本文综述了脑出血血肿扩大的研究背景、影像组学与机器学习结合的研究现状、端到端深度学习在脑出血预测中的应用，以及现有研究的不足与未来发展方向。

关键词：脑出血；血肿扩大；影像组学；机器学习；

深度学习

1. 引言脑出血是中风的一种严重形式，占所有中风病例的 15%，其一个月内的死亡率超过 40%。早期血肿扩大是脑出血患者预后不良的重要预测因素，不仅增加死亡风险，还可能导致严重的神经功能损伤。因此，准确识别早期血肿扩大对于指导临床决策和改善患者预后具有重要意义。

2. 脑出血血肿扩大的研究背景脑出血患者的初次血肿体积和位置在就诊时已确定，因此血肿扩大成为唯一可改变的结果预测因素。然而，目前临床试验中针对血肿扩大的具体实施方案尚未取得理想效果。在实际诊断中，医师通常依靠入院第一次扫描图像的出血面积、位置以及临床随访信息来预测患者是否会出现早期血肿扩大，以降低死亡率。影像组学和机器学习技术的结合为脑出血血肿扩大的预测提供了新的思路。影像组学通过从医学图像中提取定量特征数据，为疾病的诊断和预后提供了丰富的信息。机器学习则利用这些特征数据构建预测模型，提高诊断的准确性和效率。

3. 影像组学与机器学习结合的研究现状影像组学最初被称为放射组学，由荷兰 Pascal Lambin 等人于 2012 年提出。该技术通过从扫描的医学图像中提取定量描述性特征信息，实现了医学图像分析从传统定性描述向定量分析的转变。近年来，影像组学在肿瘤学领域得到了广泛应用，并逐渐扩展到脑部出血性疾病的研究中。在脑出血血肿扩大的预测中，影像组学与机器学习的结合主要体现在以下几个方面： • 特征提取：利用影像组学工具从 CT、MRI 等医学图像中提取血肿的定量特征，如体积、形状、密度等。 • 特征筛选：由于提取的特征数据量远超过数据样本量，需要进行特征筛选以去除冗余和无关特征，提高模型的泛化能力。 • 模型构建：利用机器学习算法（如支持向量机、随机森林、逻辑回归等）构建预测模型，对患者的血肿扩大风险进行评估。

4. 深度学习在脑出血预测中的应用近年来，深度学习在医学图像处理领域取得了突破性进展，特别是在图像分类任务中表现出色。深度学习模型（如卷积神经网络 CNN、Transformer 等）能够自动学习图像中的复杂特征，无需人工提取特征，大大提高了诊断的准确性和效率。在脑出血血肿扩大的预测中，深度学习模型的应用主要体现在以下几个方面： • 卷积神经网络（CNN）：CNN 通过卷积层、池化层和全连接层等结构自动提取图像中的局部和全局特征，对血肿的体积、形状等特征进行准确识别。 • Transformer 模型：Transformer 模型通过自注意力机制捕获图像中的全局信息，能够同时考虑图像中的所有区域，对于理解图像的整体结构和上下文至关重要。在医学领域，Transformer 模型可以有效地处理多模态图像数据，提高分类和诊断的准确性。

5. 现有研究的不足与未来发展方向尽管影像组学与机器学习的结合以及深度学习在脑出血血肿扩大预测中取得了一定的成果，但仍存在一些不足之处： • 数据获取与标注：高质量的医学图像数据获取困难，且标注过程需要专业医师参与，成本较高。 • 模型泛化能力：现有模型在不同数据集上的泛化能力有待提高，特别是在处理复杂病例时。 • 可解释性：深度学习模型通常被视为“黑箱”模型，其决策过程难以解释，限制了其在临床中的应用。未来发展方向包括： • 多模态数据融合：结合 CT、MRI、PET 等多种模态的医学图像数据，提高预测的准确性。 • 模型优化与改进：通过引入注意力机制、残差连接等技术优化模型结构，提高模型的泛化能力和鲁棒性。 • 可解释性研究：开发可解释的深度学习模型，提高模型在临床中的可信度和接受度。

6. 结论脑出血血肿扩大的预测是临床医学中的重要研究课题。影像组学与机器学习的结合以及深度学习技术的应用为血肿扩大的预测提供了新的思路和方法。未来研究应关注多模态数据融合、模型优化与改进以及可解释性研究等方面，以进一步提高预测的准确性和临床应用价值

本周学习python

money = 5000000
name = input("请输入您的姓名")

def query(show_header):
    if show_header:
        print("--------余额--------")
    print(f"{name},你好，您的余额为{money}")

def saying(num):
    global money
    money += num
    print("------存款------")
    print(f"{name},您好，已存入{num}元成功")
    query(False)

def get_money(num):
    print("-----取款-----")
    global money
    money -= num
    print(f"{name}，您好，您已取款{num}元成功")
    query(False)

def main():
    print("--------主菜单--------")
    print("您好，欢迎来到银行")
    print("查询余额【输入1】")
    print("存款\t\t【输入2】")
    print("取款\t\t【输入3】")
    print("推出\t\t【输入4】")
    return input("请输入您的选择：")

while True:
    keyboard_input = main()
    if keyboard_input == "1":
        query(True)
        continue
    elif keyboard_input == "2":
        num = int(input("您要存多少钱"))
        saying(num)
        continue
    elif keyboard_input == "3":
        num = int(input("您要取多少钱"))
        get_money(num)
        continue
    else:
        print("结束了")
        break