乳腺癌预测模型只有白人女性数据,MIT刚刚把它扩展到了所有族裔

【PyTorch】第六节:乳腺癌的预测(二分类问题) 上一个实验我们讲解了线性问题的求解步骤,本实验我们以乳腺癌的预测为实例,详细的阐述如何利用 PyTorch 求解一个非线性问题。 阅读详情

大数据文摘出品

编译:Joey、杨威

 

对乳腺癌的早期筛查一直是机器学习的一个热门研究方向,可是已有的筛查模型大多数依赖于白人女性样本,因此对于非白人女性的筛查准确率令人堪忧。

 

最近麻省理工开发的新模型不仅很好地解决了这个问题,而且还能够提前五年筛查出乳腺癌病患!

 

这一项突破性研究,标志着深度学习技术推动下的医学进步,可以提前了解病情,做针对性治疗,这对于病患来说,是一大福祉。

 

Regina Barzilay和Lehman与CSAIL博士生的主要作者Adam Yala共同撰写了这篇论文。

 

 

感兴趣的读者可以查阅下载

https://pubs.rsna.org/doi/pdf/10.1148/radiol.2017170549

            

 

已有的筛查模型

 

之前的疾病筛查模型大多是CNN(卷积神经网络)的改良版本,CNN是前馈神经网络,模拟人的视觉对于图像的理解。网络结构中的卷积核提取图像的边缘、轮廓等信息,Relu等激活函数模拟大脑对于外界信号刺激的应答,对提取到的图像信息做整合,浅层卷积层提取到局部的图像信息,层数越深的卷积层能提取到全局的图像信息,在CV(Computer Version)领域也称为感受野(Receptive Field),CNN网络模型对于图像的分类任务处理十分友好,下图很好地展示了CNN网络的结构和原理:

       

CNN图像理解示意图

 

 

疾病筛查任务也就是二分类任务,对于输入的图像,需要得到是否患病的判断。给医学图片做标签(在计算机科学中标记为0或1,0表示没有患病,1表示患病),在模型中,通过Label(标记)好图片的训练和反向传播的参数调整,使得模型具备一定的学习能力,最终能够对未标记的医学图片做疾病筛查。但是训练的结果依靠数据集的好坏,已有的很多乳腺癌预测数据集都偏向于白人女性的研究,鲜少考虑到其他族裔。麻神理工大学研究人员开发的诊断模型考虑到了这一点。

 

 

将研究扩展到少数族裔

 

麻省理工的研究人员在一篇博客中指出,事实上这个看起来不起眼的一个细节是乳腺癌预测的关键:因为黑人女性死于乳腺癌的概率比白人女性高 42%。而正是目前的乳腺癌早期诊断技术中对黑人女性的诊断模型缺失造成了这一巨大差异,因为包括黑人女性在内的少数族裔样本在已有的深度学习模型开发中通常鲜有被考虑进去。

 

而麻省理工的研究人员表示,他们对乳腺癌预测模型的研究正是为了弥补这一缺陷,他们希望通过这一研究提高对少数族裔健康评估的准确性。针对同一个问题的研究同时也是近期很多业界公司研究和产品开发的重心。

 

模型结果表明,对于黑人和白人女性的预测效果都相当好。

 

之所以强调对黑人与白人女性的效果一样好,是因为研究人员在开发过程中发现同类的人工智能模型存在大量偏差——因为它们对样本的采集严重地倾向白人女性,黑人女性则很少。因此来自麻省理工的研究团队仔细地设计了他们的模型,使得它对于两种族裔的女性都能够很好地作出预测。

 

 

基于风险评估的提前预测

 

麻省理工学院教授Regina Barzilay本人是一名乳腺癌幸存者,她表示希望这样的系统能让医生在个人层面定制筛查和预防计划,使得晚期诊断成为历史。

 

所有性别都有患乳腺癌的风险,而大部分人通常认为只影响女性。自1989年第一个乳腺癌风险模型以来,研究者发展患乳腺癌的风险在很大程度上取决于人类的知识和对主要危险因素的直觉,如年龄、乳腺癌和卵巢癌的家族史、激素和生殖因素以及乳房密度。

 

然而,这些标志物中的大多数仅与乳腺癌微弱相关。因此,这些模型在个人层面上仍然不是很准确,并且鉴于这些限制,许多组织仍然认为基于风险的筛查计划是不可能的。

 

另一方面,“自20世纪60年代以来,放射科医生已经注意到女性在乳房X线照片上可以看到独特且变化很大的乳房组织模式,”Lehma说。“这些模式可以代表遗传,激素,怀孕,哺乳,饮食,体重减轻和体重增加的影响。我们现在可以在个人层面的风险评估中更准确地利用这些详细信息。”

 

不同于已有的预测模型,麻省理工计算机与人工智能实验室开发出的模型准确地将31%的癌症患者置于风险最高的类别,而传统模型仅为18%,可以至多提前五年预测乳腺癌细胞发展。

 

 

数据集来源

 

MIT / MGH团队不是手动识别乳房X线照片中驱动未来癌症的模式,而是训练深度学习模型直接从数据中诱导模式。麻省理工开发的这一预测模型的开发基于超过六万名来自麻省总医院(Massachusetts General Hospital)的病人样本,其中包括超过九万份乳房X光检查报告和病人们病情发展情况。

 

这一模型从这些数据出发,通过深度学习甚至能够辨识出一些人类医生都无法辨认出的病情。因为已有的关于乳腺癌的假设和风险因素都充其量是一个指导性的判断框架,而麻省理工的这个模型并不是基于类似的框架,因此模型的准确性在预测性诊断和预筛查方面会更加准确。

 

 

 

总结与展望

 

总的来说,麻省理工计算机与人工智能实验室的这一项目旨在协助医生们为病人尽早选择正确的治疗方案,而不是像现在的大多数情况下一样,在病人们的病情恶化甚至发展到晚期时才告诉他们这一残酷的事实。

 

同时,最近在nature中也有报道,对于BRCA1和BRCA2基因的突变检测也能更有效地开展乳腺癌的治疗。

 

链接如下:

https://www.nature.com/articles/d41586-019-02015-7

 

展望未来,来自麻省理工的团队希望能够用这一技术来提高其他类似疾病的预测准确性,如通过扫描脑部结构,可以对阿尔茨海默病和多发性硬化症做预测,同理也可以对心血管疾病做预测。只要针对某种疾病的研究已经有成型的风险模型,这一技术就有可能大大提高对它预诊断的准确性。

 

扫描脑部图片检测疾病

 

相关报道:

http://news.mit.edu/2019/using-ai-predict-breast-cancer-and-personalize-care-0507

https://techcrunch.com/2018/09/19/ibm-launches-cloud-tool-to-detect-ai-bias-and-explain-automated-decisions/

 

机器学习(十)-逻辑回归实践篇之乳腺癌肿瘤预测 注: 本篇博客为《Python机器学习及实践:从零通往Kaggle竞赛之路》一书逻辑回归案例的笔记,欢迎与我交流数据挖掘、机器学习相关话题。 1 项目描述 “良/恶性乳腺癌肿瘤预测”的问题属于二分类任务。 待预测的类别分别是良性乳腺癌肿瘤和恶性乳腺癌肿瘤。 通常使用离散的整数来代表类别, 0代表良性,1代表恶性。 数据信息及含义如下图所示: ... 阅读详情

相关推荐

Python数据分析-基于机器学习的乳腺癌数据分析与预测

乳腺癌,作为女性群体中一种常见的恶性肿瘤,其根源在于乳腺上皮细胞的异常增殖。近年来,这种疾病的发病率逐年攀升,已成为女性恶性肿瘤的首要威胁,对女性的整体健康造成了极大的影响。数据挖掘是一个复杂的过程,Python利用丰富的库和工具进行两个非常重要的步骤,数据预处理和可视化,通过图形的形式清晰、直观的了解各个特征与乳腺癌之间的关系,从众多的特征中选择出与乳腺癌患病和复发最相关的特征。基于UCI乳腺癌数据建立了多个不同的机器算法进行模型的训练与预测,并进行模型评估对比,选择合适的机器学习算法。

m0_69565964的博客 4693

AI+模型融合=卵巢癌预测模型(IF 23.8)|文献解读

创新的模型融合:本文创新性地提出了一个多准则决策分类融合模型,结合多个AI分类模型的预测结果,实现了对卵巢癌诊断的准确预测,优于传统的单一生物标志物检测。严谨的模型验证:文章通过内部和外部训练集对融合后模型性能进行验证,保证了模型的可预测性和准确性,并且与经典肿瘤标志物检测进行了对比,进一步提高了模型的可信度。

Python_cocola的博客 1310

七、(4)逻辑回归——二分类法,预测乳腺癌数据

七、(3)逻辑回归——二分类法,预测乳腺癌数据 乳腺癌数据集下载地址:https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data 下载的数据为data格式,直接改文件名为csv查看数据内容即可。最后一行为目标值。2代表正常,4代表癌症。 ...

python 9117

【机器学习】三大树模型实战乳腺癌预测分类

公众号:尤而小屋作者:Peter编辑:Peter今天给大家带来一篇新的UCI数据集建模的文章。本文从数据的探索分析出发,经过特征工程和样本均衡性处理,使用决策树、随机森林、梯度提升树对一份女性乳腺癌的数据集进行分析和预测建模。关键词:相关性、决策树、随机森林、降维、独热码、乳腺癌数据集 数据是来自UCI官网,很老的一份数据,主要是用于分类问题,可以自行下载学习https:...

fengdu78的博客 4110

sklearn实战:乳腺癌检测(逻辑回归算法)

%matplotlib inline import matplotlib.pyplot as plt import numpy as np # 载入数据 from sklearn.datasets import load_breast_cancer cancer = load_breast_cancer() X = cancer.data y = cancer.target print('...

Douhh_sisy的博客 8697

Skyworks SKY85331-11的Wi-Fi 6 (802.11ax)标准 2.4G 高功率WLAN前端模块解决方案

SKY85331-11是高度集成的2 GHz前端模块(FEM)包含2 GHz单刀双掷(SPDT)发送/接收(T / R)开关,2 GHz低噪声放大器(LNA)带旁路和一个2 GHz功率放大器(PA),用于大功率802.11ax应用程序和系统LNA和PA禁用功能可确保低漏电流 关闭模式。 包括一个集成的功率检测器以提供系统内的闭环功率控制。该设备提供Small (24-pin, 3 x 5 mm) (LGA)封装。 图1.引脚配置和封装如图所示 图2.信号引脚分配和功能引脚描述 图...

zhangbao19890622的博客 4504

实验三:乳腺癌良恶性预测

一、问题描述 利用机器学习算法实现乳腺癌数据集的二分类问题,良恶性乳腺癌肿瘤预测。 二、数据集分析 乳腺癌数据集下载地址为:https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/ 乳腺癌数据集中一共有699个样本,共11列数据,每个样本有10个特征和1个对应的标签 包含16个缺失值,用”?“标出 Sample code number 索引ID Clump Thickness

1万+

MultiOTP Credential Provider避坑指南:从安装到RDP双因素认证的全流程解析

本文详细解析了MultiOTP Credential Provider从安装到实现RDP双因素认证(MFA)的全流程,重点分享了Docker部署、Active Directory集成及网络级认证(NLA)兼容性等环节的实战避坑经验,旨在帮助运维人员高效、稳定地部署离线双因素认证方案,提升Windows远程桌面安全性。

weixin_29255731的博客 642

【机器学习】基于机器学习的乳腺癌预测模型

基于机器学习的乳腺癌预测模型(附Python代码)前提说明项目介绍导入数据概述数据数据可视化评估算法实施预测代码参考 前提说明 此博客内容为2018年山东省人工智能大赛曲阜师范大学青春梦想队所创作,未经授权,禁止使用。 项目介绍 这个项目是针对乳腺癌进行分类的一个项目,使用的乳腺癌数据集,具有如下特点: ①所以特征数字都是数字,不需要考虑如何导入以及如何处理数据 ②特征列第一列为用户ID信息,不...

MING.MING的博客 2万+

Axial Attention 和 Criss-Cross Attention及其代码实现

Axial Attention 和 Criss-Cross Attention及其代码实现 ​ 文章目录Axial Attention 和 Criss-Cross Attention及其代码实现1 Criss - Cross Attention介绍1.1 引言1.2 理论实现1.2.1 获取权重A1.2.2 Affinity操作1.3.3 全部信息获取1.3 代码实现1.3.1 官方实现1.3.2 纯pytorch实现2 Axial Attention 介绍2.1 引言2.2 理论实现2.3 代码实现2.3

fzl的博客 2万+

YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度

ASF-YOLO是一种基于YOLO的新颖框架,结合了空间和尺度特征以实现准确和快速的分割。其中,注意力尺度序列融合模块。

Limiiiing的博客 4389

Catboost算法助力乳腺癌预测:Shap值解析关键预测因素

首先,可以加强模型解释性的研究,利用Shap值等工具提高模型的解释性,使医生更好地理解模型的预测结果。Catboost算法是一种基于梯度提升决策树的机器学习算法,其基本原理是通过迭代地添加新的决策树来改进现有模型的预测性能,每棵新的决策树都是在负梯度方向上生长,以最小化损失函数的值。减少过拟合的发生:Catboost通过嵌入自动将类别型特征处理为数值型特征的创新算法,以及采用排序提升的方法对抗训练集中的噪声点,从而避免梯度估计的偏差,进而解决预测偏移的问题,减少过拟合的发生,提高算法的准确性和泛化能力。

笑不语的博客 1901

第29章:PCL PrincipalCurvatures 曲率估计

PrincipalCurvatures(主曲率估计)是一种用于计算点云表面曲率的算法。曲率描述了曲面局部的弯曲程度,是表面几何特征的重要指标。在点云处理中,估计表面的曲率对于形状分析、物体识别、表面重建等任务非常重要。主曲率是曲面上某一点的最大和最小曲率方向。通过计算点云的主曲率,我们可以获得点云中每个点的局部形状特征。通常情况下,主曲率包括两个主要参数:最大主曲率(最大曲率方向上的曲率)和最小主曲率(最小曲率方向上的曲率)。优点缺点提供了对点云表面局部形状的深入分析。

yumeiguo的博客 213

机器学习实战之良/恶性乳腺癌肿瘤数据分析

良/恶性乳腺癌肿瘤数据预处理 #导入numpy和pandas包 import pandas as pd import numpy as np #创建特征列表 column_names = ['Sample code number','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell Shape','Marginal Ad...

XB_please的博客 7270

2025必备:C#上位机自动更新方案,支持断点续传与版本回滚(附完整源码)

摘要:工业上位机自动更新方案解析 本文针对工业现场上位机更新效率低下、风险高的问题,提出了一套完整的自动更新解决方案。该方案包含四个核心模块:版本检测(后台比对版本)、断点下载(支持网络中断续传)、安装更新(自动备份旧版本)和版本回滚(更新失败快速恢复)。通过独立更新工具与主程序解耦的设计,实现了"不影响生产+有退路"的工业级更新要求。方案基于.NET Framework开发,采用HTTP协议通信,包含详细的代码实现和工业场景适配说明,解决了U盘更新效率低、网络不稳定导致下载失败、更新后

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 956

Android14 Qcom 从Framework到Driver带你打开WIFI(二)

上篇文章讲到了UI打开WIFI以后,逐步调用到加载底层驱动以及通知等相关流程。这篇接着上文继续往下看WIFI ON的后续动作。

IAYLBL的博客 764

找到anaconda下sklearn自带的数据集的.csv文件格式

位置:...:\software\anaconda3\Lib\site-packages\sklearn\datasets\data 包含: boston_house_prices.csv breast_cancer.csv iris.csv linnerud_exercise.csv linnerud_physiological.csv wine_data.csv 例如: 转载于:https...

weixin_30877227的博客 1080

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Scikit-Learn (1.Sklearn提供的常用数据集 - 自带的小数据集)

一、自带的小数据集(packageddataset):sklearn.datasets.load_ 推荐读者阅读网站: (w3cschool) https://www.w3cschool.cn/doc_scikit_learn/scikit_learn-modules-generated-sklearn-datasets-load_digits.html (scikit-learn (skl...

Micheal 超 的博客 1万+

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

机器学习能诊断病情,还能预测患者出院后的情况?

随着数据量以及计算机性能的不断提升,机器学习技术正逐渐渗透于各行各业中。计算机视觉、自然语言处理、机器人等领域基本上已经被机器学习算法垄断,正逐步向教育、银行、医疗等传统行业扩张。关于机器学习如何改变传统教育模式,可以参见博主的这篇文章《使用AR、AI以及大数据改革教育体系——为每位学生打造自己的私人定制学习路线》。银行业目前对人工智能炒作...

weixin_33984032的博客 478

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Python获取sklearn库中iris数据写入本地csv文件,可视化展示数据并进行分类、聚类实验以及结果可视化

今天有点时间就找来了iris数据实验了一下,就是可视化绘图感觉很好玩,就拿这个数据集做了一个实验,下面是简单的实验流程 1.获取iris数据写入本地csv文件,实现如下: def write_iris_data2csv(csvpath='result/show/iris_data.csv'):     '''     读取sklearn库中的iris数据写入到csv文件中

Together_CZ的博客 1万+

SVM进行乳腺癌预测

一、数据获取 import matplotlib import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn import svm from sklearn.preprocessing import StandardScaler import numpy as np #加载数据源 dat

yuan_xiangjun的博客 2421

数据分析之乳腺癌预测

零、定义问题1.1 数据介绍http://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.names#属性域1.示例代码号码2.块厚度1 - 103.细胞大小的一致性1 - 104.电池形状的均匀性1 - 105.边缘附着力1 - 106.单个上皮细胞......

若云流风的专栏 2万+

Pytorch 实践 —— 乳腺癌预测

欢迎关注“小白玩转Python”,发现更多 “有趣”1. 数据集检测乳腺癌一般有30项特征,加载数据集来了解一下这些特征变量:数据的尺寸变量及其类型在检查重复数据和空数据并确认数据集不受...

Warmer_Sweeter 4814

机器学习之逻辑回归(三):基于逻辑回归的癌症预测案例——【癌症分类预测-良/恶性乳腺癌肿瘤预测】

逻辑回归需要掌握的知识点 知道逻辑回归的损失函数 知道逻辑回归的优化方法 知道sigmoid函数 知道逻辑回归的应用场景 应用LogisticRegression实现逻辑回归预测 知道精确率、召回率指标的区别 知道如何解决样本不均衡情况下的评估 了解ROC曲线的意义说明AUC指标大小 应用classification_report实现精确率、召回率计算 应用roc_auc_score实现指标计...

汪雯琦的博客 1万+

威斯康星大学乳腺癌肿瘤数据预测分类代码讲解

kaggle expert,全球排名前1000,清华计算机研究生,兴趣算法工程 4346
上一篇: 在浏览器中使用TensorFlow.js和Python构建机器学习模型(附代码)
下一篇: 真脑洞大开!日本拟将信号灯用作5G基站
BigDataDigest
博客等级 码龄9年 448粉丝 500原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值