Radiology发表超声影像组学新思路丨基于影像组学与AutoEncoder的乳腺肿瘤超声诊断方法

Radiology丨精准医疗新突破：结合放射组学与自动编码器，革新乳腺肿瘤超声诊断

在期刊《Radiology》上发表了一篇文章“Combining Radiomics and Autoencoders to Distinguish Benign and Malignant Breast Tumors on US Images”通过结合影像组学和AutoEncoder自编码器的方法，旨在使用超声图像来区分良性和恶性的乳腺肿瘤。

01.引言

研究旨在结合经典影像组学和自动编码器特征，从超声（US）图像中准确区分良性和恶性乳腺肿瘤。研究采用回顾性分析了1619例B型超声乳腺肿瘤图像，并利用nnU-Net进行病灶分割。从肿瘤区域、边界框和整个图像中提取了特征，旨在提高超声图像对乳腺肿瘤良恶性分类的准确性。研究结果显示，结合经典影像组学和基于自动编码器的特征能够提升分类的敏感性、特异性和AUC值，为乳腺肿瘤的超声诊断提供了新的辅助手段。

02.nnU-Net模型介绍

nnU-Net是基于U-Net架构的一种变体，它采用了编码器-解码器结构，并引入了多种改进和自适应机制，以更好地适应不同的医学影像分割任务。特别是在乳腺肿瘤超声图像的分割中，nnU-Net表现出了高精度和可重复性。

1. 编码器部分

• 功能：编码器负责从输入图像中提取特征。随着网络层数的增加，特征图的分辨率逐渐降低，但特征表示的抽象程度逐渐提高。

• 组成：编码器通常由多个卷积块组成，每个卷积块包含卷积层、激活函数（如ReLU）和池化层。这些层协同工作，以逐步提取图像中的深层特征。

2. 解码器部分

• 功能：解码器负责将编码器提取的特征图转换回原始图像的分辨率，并生成分割结果。

• 组成：解码器同样由多个卷积块组成，但还包括上采样层（如转置卷积或双线性插值），以逐步恢复特征图的分辨率。此外，解码器还可能包含跳跃连接（skip connections），这些连接将编码器中的特征图直接传递到解码器中的相应层，以保留更多的细节信息。

3. 自适应机制

nnU-Net的一个显著特点是其自适应机制，这包括自动调整网络架构、超参数和预处理步骤等。这些自适应机制使得nnU-Net能够更好地适应不同的数据集和分割任务，而无需进行繁琐的手动调整。

4. 损失函数与优化

在训练过程中，nnU-Net使用适当的损失函数（如Dice损失、交叉熵损失等）来衡量预测结果与真实标签之间的差异。然后，通过反向传播算法和优化器（如Adam）来更新网络的权重，以最小化损失函数。

模型设计示意图

03.实验结果

一、分割结果

该研究使用nnU-Net模型对乳腺病灶进行分割，并评估了其性能。在两个独立的数据集上，nnU-Net模型都展示了高精度和可重复性。

• 数据集1：在测试集中，nnU-Net模型的中位Dice分数（DS）为0.90，四分位距（IQR）为0.84至0.93，P值为0.01，表明模型在病灶分割上具有很高的准确性。

• 数据集2：同样，在数据集2的测试集中，nnU-Net模型的中位DS为0.89，IQR为0.80至0.92，P值为0.001，进一步验证了模型的稳定性和可靠性。

这些结果表明，nnU-Net模型能够精确且可重复地分割乳腺病灶，为后续的特征提取和分类提供了坚实的基础。

模型分割结果示意图

二、分类结果

该研究比较了不同特征集（影像组学、自动编码器、两者结合）在乳腺肿瘤分类中的性能。

• 经典影像组学：使用影像组学特征进行分类，虽然取得了一定的效果，但AUC（曲线下面积）值相对较低，表明其单独使用时在区分良恶性乳腺肿瘤上的能力有限。

• 自动编码器：自动编码器特征也用于分类，但与经典影像组学相比，其性能并未显著提升。

• 两者结合：当将影像组学和自动编码器特征结合使用时，分类性能得到了显著提高。最优模型（使用23个混合特征）的AUC达到了0.90，敏感性为81%（46/57），特异性为87%（39/45）。这表明结合两种特征能够更有效地提取和利用乳腺肿瘤的相关信息，从而提高分类的准确性。

此外，研究还比较了模型与人类读者的分类性能。结果显示，模型在AUC上与人类读者无显著差异（P>0.05），表明模型在乳腺肿瘤分类上达到了与人类读者相当的水平。同时，模型与随访确诊的诊断之间也无显著差异（P=0.10），进一步验证了模型的可靠性。

模型分类结果示意图

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】