【论文笔记】(一)Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning

研究利用深度学习技术,特别是卷积神经网络和迁移学习,实现了对眼底疾病的准确分类,包括新生血管、糖尿病性黄斑水肿等。此外,还评估了模型在儿童肺炎诊断中的泛化能力。
论文名称:

Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning

发表期刊:

Cell,2018

主要工作:

提出基于深度学习(CNN)迁移学习(Transform Learning)的诊断模型,将其用于眼底疾病的分类,并验证该模型在儿童肺炎的诊断上的泛化性能


数据:
  • 训练集:108312张OCT图片,其中37206张新生血管(choroidal neovascularization),11349张糖尿病性黄斑水肿(diabetic macular edema),8617张脉络膜小疣(drusen)和51140张正常无病变(normal)图像。这些数据来源于4686例病人
  • 测试集:1000张图片(每类250张),来源于633例病人
模型:

普通的卷积神经网络+迁移学习
这里写图片描述

实验一:

将新生血管(choroidal neovascularization)和糖尿病性黄斑水肿(diabetic macular edema)病人视为紧急病人(urgent referrals);将脉络膜小疣(drusen)视为常规病人(routine referrals);将正常无病变图像作为对照组(observation)。进行多分类的测试实验。

实验结果: achieved an accuracy of 96.6%, with a sensitivity of 97.8%, a specificity of 97.4%, and a weighted error of 6.6%.
这里写图片描述

实验二:

训练了一个 “limited model”,只使用了1000张图片作为训练集。

实验结果: achieved an accuracy of 93.4%, with a sensitivity of 96.6%, a
specificity of 94.0%, and a weighted error of 12.7%.

实验三:

二分类模型。分别测试了模型区分choroidal neovascularization / diabetic macular edema / drusen 与normal的性能。

实验结果:

  • choroidal neovascularization / normal: achieved an accuracy of 100.0%, with a sensitivity of 100.0% and specificity of 100.0%.
  • diabetic macular edema / normal: achieved an accuracy of 98.2%, with a sensitivity of 96.8% and specificity of 99.6%.
  • drusen / normal: achieved an accuracy of 99.0%, with a sensitivity of 98.0%
    and specificity of 99.2%.
与人类专家比较:

模型的weighted error 为6.6%, 五位人类专家的weighted error 为 0.4% to 10.5%,平均为4.8%。

Occlusion Testing:

通过Occlusion Testing来绘制关于模型决策的heatmap。heatmap值大的像素代表该像素对于模型决策的贡献度高,反之亦然。
这里写图片描述

将模型应用于儿童肺炎检测:
  • 用于测试模型的泛化性能
  • 细菌性肺炎和病毒性肺炎二分类,achieved an accuracy of 92.8%, with a sensitivity of 93.2% and a specificity of 90.1%

文章源码

https://data.mendeley.com/datasets/rscbjbr9sj/2

给定的引用内容中未提及基于关键点检测和多深度学习模型集成的车辆轴载时空分布识别方法的相关信息,所以无法根据引用为你提供该方法的具体内容。不过,般而言,这种方法可能会有以下步骤和特点: ### 关键点检测 关键点检测可能是利用传感器如激光雷达、摄像头等获取车辆的图像或点云数据,然后通过深度学习模型识别车辆上的关键部位,如车轮、车轴等位置。例如,可能会使用基于卷积神经网络(CNN)的模型,像Faster R - CNN、YOLO系列等,这些模型在目标检测和关键点定位方面有较好的效果。通过训练模型,使其能够准确地在图像或点云数据中标记出车辆轴的位置,为后续轴载时空分布的分析提供基础。 ### 多深度学习模型集成 多深度学习模型集成可以结合不同类型的深度学习模型,发挥各自的优势。比如,除了上述用于关键点检测的CNN模型外,还可以引入循环神经网络(RNN)或其变体如长短期记忆网络(LSTM),用于处理时间序列数据。因为轴载的时空分布涉及到不同时间和空间的数据变化,RNN或LSTM可以捕捉到这种时间上的依赖关系。另外,也可以结合图神经网络(GNN),考虑车辆轴之间的空间拓扑关系。通过将多个模型的输出进行融合,如采用投票法、加权平均法等,可以提高识别的准确性和鲁棒性。 ### 时空分布识别 在获取了关键点信息和经过多模型集成处理后,就可以进行车辆轴载的时空分布识别。可以根据不同时间点和不同地理位置下车辆轴载的变化情况,构建时空分布模型。例如,使用历史数据训练模型,预测在特定时间和地点的轴载分布情况。还可以结合地理信息系统(GIS)技术,将轴载的时空分布以可视化的方式呈现出来,为交通管理、道路规划等提供决策依据。 以下是个简单的基于Python和PyTorch框架的关键点检测示例代码: ```python import torch import torchvision from torchvision.models.detection import fasterrcnn_resnet50_fpn from torchvision.transforms import functional as F # 加载预训练的Faster R - CNN模型 model = fasterrcnn_resnet50_fpn(pretrained=True) model.eval() # 模拟输入图像 image = torch.randn(3, 224, 224) image = F.to_pil_image(image) image = F.to_tensor(image) # 进行关键点检测 with torch.no_grad(): predictions = model([image]) # 输出检测结果 print(predictions) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值