脑PET图像分析和疾病预测挑战赛---CNN

脑PET图像分析和疾病预测方案总结 1. 方案一 1.1 竞赛介绍 1.2 算法方案 1.2.1 网络结构 1.2.2 数据增强 1.2.3 网络自动搜索 1.2.4 数据泄露问题 1.2.5 提分trick 1.2.5.1 余弦退火 1.2.5.2 集成学习 1.3.6 结果后处理 1.3.7 优化结果 1.4 后续优化 1.5 Q&A 2. 方案二 2.1 算法方案 2.1.1 解题思路 2.1.2 数据分析 2.1.3 数据增强 2.1.4 模型选择 2.1.5 模型训练 2.1.6 模型测试 2.2 后续优化思路 2.3 Q&A 3. 阅读详情

目录

数据预处理

基于迁移学习搭建CNN模型 

模型训练与验证

模型预测

结果

总结

备注

        卷积神经网络(CNN)是一种深度学习模型,广泛用于图像识别、计算机视觉和模式识别任务中。CNN 在处理具有网格结构数据(如图像)时表现出色,它能够自动学习和提取图像中的特征,并在分类、定位和分割等任务中取得优秀的性能。

数据预处理

import os, sys, glob, argparse
import pandas as pd
import numpy as np
from tqdm import tqdm

import cv2
from PIL import Image
from sklearn.model_selection import train_test_split, StratifiedKFold, KFold

import torch
torch.manual_seed(0)
torch.backends.cudnn.deterministic = False
torch.backends.cudnn.benchmark = True

import torchvision.models as models
import torchvision.transforms as transforms
import torchvision.datasets as datasets
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.autograd import Variable
from torch.utils.data.dataset import Dataset

import nibabel as nib
from nibabel.viewers import OrthoSlicer3D


train_path = glob.glob('./BrainPET/Train/*/*')
test_path = glob.glob('./BrainPET/Test/*')


np.random.shuffle(train_path)
np.random.shuffle(test_path)

# 数据预处理
DATA_CACHE = {}
class XunFeiDataset(Dataset):
    def __init__(self, img_path, transform=None):
        self.img_path = img_path
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        if self.img_path[index] in DATA_CACHE:
            img = DATA_CACHE[self.img_path[index]]
        else:
            img = nib.load(self.img_path[index])
            img = img.dataobj[:,:,:, 0]
            DATA_CACHE[self.img_path[index]] = img

        # 随机选择一些通道
        idx = np.random.choice(range(img.shape[-1]), 50) # 将图片的通道数修改为50
        img = img[:, :, idx]
        img = img.astype(np.float32)

        if self.transform is not None:
            img = self.transform(image = img)['image']

        img = img.transpose([2,0,1])
        return img,torch.from_numpy(np.array(int('NC' in self.img_path[index])))

    def __len__(self):
        return len(self.img_path)

import albumentations as A

# 分别对训练集、验证集与测试集进行预处理
train_loader = torch.utils.data.DataLoader(
    XunFeiDataset(train_path[:-10],
            A.Compose([
            A.RandomRotate90(),
            A.RandomCrop(120, 120),
            A.HorizontalFlip(p=0.5),
            A.RandomContrast(p=0.5),
            A.RandomBrightnessContrast(p=0.5),
        ])
    ), batch_size=2, shuffle=True, num_workers=1, pin_memory=False
)

val_loader = torch.utils.data.DataLoader(
    XunFeiDataset(train_path[-10:],
            A.Compose([
            A.RandomCrop(120, 120),
        ])
    ), batch_size=2, shuffle=False, num_workers=1, pin_memory=False
)

test_loader = torch.utils.data.DataLoader(
    XunFeiDataset(test_path,
            A.Compose([
            A.RandomCrop(128, 128),
            A.HorizontalFlip(p=0.5),
            A.RandomContrast(p=0.5),
        ])
    ), batch_size=2, shuffle=False, num_workers=1, pin_memory=False
)

基于迁移学习搭建CNN模型 

# 采用迁移学习,使用resent18的架构进行训练

class XunFeiNet(nn.Module):
    def __init__(self):
        super(XunFeiNet, self).__init__()

        model = models.resnet18(False)
        model.conv1 = torch.nn.Conv2d(50, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
        model.avgpool = nn.AdaptiveAvgPool2d(1)
        model.fc = nn.Linear(512, 2)
        self.resnet = model

    def forward(self, img):
        out = self.resnet(img)
        return out

model = XunFeiNet()
model = model.to('cuda') # 使用GPU进行训练
criterion = nn.CrossEntropyLoss().cuda()
optimizer = torch.optim.SGD(model.parameters(), 0.005)

模型训练与验证

def train(train_loader, model, criterion, optimizer):
    model.train()
    train_loss = 0.0
    for i, (input, target) in enumerate(train_loader):
        input = input.cuda(non_blocking=True)
        target = target.cuda(non_blocking=True)

        output = model(input)
        loss = criterion(output, target)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

     #   if i % 20 == 0:
      #      print(loss.item())

        train_loss += loss.item()

    return train_loss/len(train_loader) # train_loss的取平均值

def validate(val_loader, model, criterion):
    model.eval()
    val_acc = 0.0

    with torch.no_grad():
        for i, (input, target) in enumerate(val_loader):
            input = input.cuda()
            target = target.cuda()


            output = model(input)
            loss = criterion(output, target)

            val_acc += (output.argmax(1) == target).sum().item()

    return val_acc / len(val_loader.dataset)

for _  in range(50):
    train_loss = train(train_loader, model, criterion, optimizer)

    train_acc = validate(train_loader, model, criterion)

    val_acc  = validate(val_loader, model, criterion)

    print(train_loss, train_acc, val_acc)
    #print(train_loss)
    #print(train_acc)
    #print(val_acc)

模型预测

def predict(test_loader, model, criterion):
    model.eval()
    val_acc = 0.0

    test_pred = []
    with torch.no_grad():
        for i, (input, target) in enumerate(test_loader):
            input = input.cuda()
            target = target.cuda()

            output = model(input)
            test_pred.append(output.data.cpu().numpy())

    return np.vstack(test_pred)

pred = None
for _ in range(50):
    if pred is None:
        pred = predict(test_loader, model, criterion)
    else:
        pred += predict(test_loader, model, criterion)

submit = pd.DataFrame(
    {
        'uuid': [int(x.split('/')[-1][:-4]) for x in test_path],
        'label': pred.argmax(1)
})
submit['label'] = submit['label'].map({1:'NC', 0: 'MCI'})
submit = submit.sort_values(by='uuid')
submit.to_csv('submit2.csv', index=None)

结果

        经过调整超参数,如训练和预测次数,学习率,优化器等等,可以发现最终的F1-score稳定在0.735附近,相比于之前采用人工特征工程的机器学习统计方法而言提高了将近0.4,可见CNN性能的优越性。

总结

        本次使用CNN进行预测,相比于第一次基于逻辑回归的机器学习统计方法而言,不需要人工进行特征工程的构造,而是通过卷积、池化等运算让计算机自动提取特征,显然避免了不少麻烦,唯一的不足是此时对硬件有一定要求,如果设备有GPU,可以将模型在GPU上运行,可以大幅提高运算效率。

备注

        基于逻辑回归的机器学习统计方法预测:

脑PET图像分析和疾病预测挑战赛---逻辑回归_Vector Jason的博客-优快云博客

深度学习 脑部图像分割 深度学习 脑部肿瘤图像分割 代码,python 包括图像预处理 数据增强,数据生成,网络训练,测试结果 立即下载

相关推荐

C#实战:如何用winmm.dll打造毫秒级高精度定时器(附完整代码)

本文详细介绍了在C#中利用winmm.dll实现毫秒级高精度定时器的完整方案。针对.NET内置定时器精度不足的问题,通过调用timeSetEvent等原生API,提供了超越系统时钟中断周期的精准定时能力。文章包含核心原理剖析、完整的封装类代码以及音视频处理、游戏开发等场景下的实战应用与性能调优指南。

ujm5678901的博客 690

[Datawhale]夏令营第一期----脑PET图像分析和疾病预测挑战赛

本篇baseline介绍了如何使用Python编程语言和机器学习库处理脑PET图像数据,并构建逻辑回归模型来进行脑PET图像的疾病预测。特征提取是一个关键步骤,通过合适的特征提取方法,可以更好地表征图像数据。逻辑回归模型在本例中是一个简单而有效的分类器,但在实际应用中,可能需要更复杂的深度学习模型来提高预测性能。

qq_65163410的博客 1515

STM32G474的HRTIM实战:用CubeMX配置互补PWM驱动全桥电路(附移相算法代码)

本文详细介绍了如何使用STM32G474的HRTIM高分辨率定时器,通过CubeMX配置互补PWM驱动全桥电路,并附移相算法代码。内容涵盖HRTIM硬件架构解析、CubeMX配置全流程、移相控制算法实现及调试技巧,为数字电源和电机控制领域提供实用解决方案。

weixin_27017211的博客 486

脑PET图像分析和疾病预测挑战赛-0CVDay1

3. 模型训练:将提取训练集和测试集的特征,并使用逻辑回归模型对训练集进行训练。在这里将特征提取过程重复进行30次,这是为了增加训练样本的多样性,然后,我们使用逻辑回归模型来训练数据。:根据海量脑PET数据集作为脑PET图像检测数据库的训练样本构建模型,对轻度认知障碍进行分析和预测。1. 数据预处理:主要从原始图像数据进行相关处理并对训练集和测试集的数据随机打乱。在此我只是简单运行了一下代码,并没有对代码做出改进,获得了一个一般的成绩。4. 预测结果: 用训练好的模型对测试集进行预测,得到结果。

WH_Z0v0的博客 300

C++继承与多态 - 继承多态原理01

C++继承多态原理讲解

大秦坑王的专栏 2980

节省人力成本40%!仓储物流AI机器人调度系统实战案例(含路径规划算法与系统架构图)

首先,我们需要定义一个Node类self.x = x # 节点x坐标self.y = y # 节点y坐标self.g = g # 从起点到当前节点的实际成本(g值)self.h = h # 从当前节点到终点的启发式成本(h值)self.f = g + h # 总成本(f值)self.parent = None # 父节点(用于回溯路径)self.task_id = task_id # 任务IDself.priority = priority # 任务优先级(1=最高,5=最低)

小程序开发 950

深度学习实战-Datawhale第三期CV:脑PET图像分析和疾病预测挑战赛

样本ID从文件名中提取。对每个样本的30次预测结果进行投票,选出最多的类别作为该样本的最终预测类别,这些最终的预测类别被存储在。使用训练好的逻辑回归模型对测试集的特征进行预测,预测结果被转置,以便每个样本有30次预测结果。函数,它读取医学图像数据,从中提取特定通道的数据,并对这些数据进行一些统计特征的计算。提取的特征根据路径中的关键字确定样本类别('NC'表示正常,'MCI'表示异常)。函数,循环30次从训练集和测试集中提取特征,将特征和对应的类别存储在。中的特征作为输入,使用对应的类别作为输出。

cfy2401926342的博客 544

1. SAP Fiori Elements 开发环境的搭建和开发准备工作

本文介绍了本地使用 Visual Studio Code 进行 Fiori Elements 开发所需要安装的这个扩展包里6个能够提高 Fiori Elements 应用开发效率的扩展。在本教程后续步骤里我们会通过实际的例子介绍这些 Visual Studio Code 扩展的详细用法。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 3456

脑PET图像分析和疾病预测挑战赛笔记

笔者水平有限,若存在不足之处,还请多多见谅。ai学习需要多看多学多试,前人的思路值得大家学习尝试,须知不可闭门造车。

qq_62627186的博客 903

YOLO26 多模态融合技术:RGB+红外/深度/雷达融合

YOLO(You Only Look Once)是一种流行的目标检测算法,其最大特点是快速且端到端地完成图像中所有目标的检测与分类任务。YOLO首次在2016年由Joseph Redmon等人提出,彻底改变了传统目标检测(如R-CNN系列)的思路,被广泛应用于自动驾驶、视频监控、工业质检等场景。

一键难忘的博客 3528

Dify搭建AI测试用例生成器

1、获取产品需求文档2、解读、分析、挖掘需求点,提炼为测试点3、依据测试点,生成详细的测试用例4、输出测试用例1、打开 Dify 控制台,依次点击【工作室】-【ChatFlow】-【创建空白应用】。

十二测试录 1373

脑PET图像分析和疾病预测挑战赛---CNN进阶版

本次基于CNN---Baseline分别从数据增强、迁移学习、优化器、集成学习四个方向进行优化,结果相比之下提高了0.04,并进行了可解释性分析。

Vectorln的博客 461

RH850从0搭建Autosar开发环境【3X】- Davinci Configurator之BswM模块配置详解(上)

RH850从0搭建Autosar开发环境【3X】- Davinci Configurator之BswM模块配置详解(上)

weixin_42412049的博客 740

2023.8DataWhale_cv夏令营第三期笔记

使用官方提供的脑PET数据集,构建逻辑回归模型来进行脑PET图像的疾病预测,数据集被分为两类,分别为轻度认知障碍(MCI)患者的脑部影像数据和健康人(NC)的脑部影像数据,图像数据格式为nii,因此本赛题可抽象为一个二分类问题。nii是一种常用的医学图像数据格式,主要用于存储和交换神经影像数据。以下是一些主要特点:1.主要用于存储3D(三维)医学图像数据,如MRI(磁共振成像)和CT(计算机断层扫描)图像。2.支持多种数据类型,使得其可以支持不同类型的数据处理和分析。

qq_73733704的博客 1543

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

脑PET图像分析和疾病预测挑战赛-DataWhaleAI训练营第一期CV方向

其他还有一些代码细节,不再赘述,后面有时间再细化,主要是折腾了一周,只是勉强超过大多数同学直接全NC的结果,所以感觉也没很好的方案进行分享。以上类似于对别人方案的复现与思考供大家参考。总体上来看,代码的重点应该还是在数据预处理与数据增强上。此外,本来想从多模态方向进行优化,例如结合频域与像素域信息,或者图像与文本信息,采用CLIP等模型进行试验,但时间和水平有限(主要是组会压力太大,摆.jpg),所以没来得及做,后续做了再补充,应该也有一定的效果。

rangpin的博客 464

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

脑PET图像分析与疾病预测 - nii文件数据处理与简单CNN训练

笔者正在Datawhale举办的AI夏令营中参与CV方向的学习,研究课题为发布在讯飞AI开发者大赛上的,需要对nii格式的医学影像文件进行学习,并进行疾病预测第一轮学习中,Datawhale团队给出了,但其中并没有对nii文件进行详细介绍;且为了适配logistic回归模型,并缩小数据规模,其数据处理过程(个人认为)产生了不可忽视的信息丢失,直接导致预测的准确度仅略高于0.5——这跟瞎猜也没啥区别了吧……

Steve8310的博客 4188

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

【基于脑PET图像的疾病预测挑战赛-学习笔记】

基于脑PET图像的疾病预测挑战赛的学习笔记

qq_45562377的博客 751

脑PET图像分析与疾病预测挑战

讯飞脑PET图像分析与疾病预测挑战比赛,使用CNN(resnet18)的baseline进行联系

m0_52647764的博客 386

AI夏令营-CV学习笔记-脑PET图像分析和疾病预测挑战赛

使用机器学习的方法来进行预测,分数普遍偏低,接下来将准备尝试使用卷积神经网络或者Transfomer解决这个问题,但是通过Baseline中机器学习的方法,我掌握了如何将图片特征转化为一些统计量,通过多个统计量进行预测。

weixin_42767628的博客 552

day01—跑通脑PET图像分析和疾病预测挑战赛的baseline代码

在其官网公开的模型中找到,再按照该模型的代码要求逐步运行代码即可跑通。

m0_57053955的博客 257

脑PET图像分析和疾病预测挑战赛---逻辑回归

初步利用sklearn库的逻辑回归简单实现了Baseline方案,接下来将尝试基于Pytorch框架搭建CNN网络,实现特征的自动提取,最后对二者进行可解释性分析。

Vectorln的博客 399

脑PET图像分析和疾病预测-深度学习Baseline

当涉及图像识别、计算机视觉和模式识别等任务时,卷积神经网络(Convolutional Neural Network,CNN)是一种强大的深度学习模型。CNN 具备自动学习和提取图像中的特征的能力,并在各种任务,如分类、定位和分割等方面取得了卓越的性能。了解了卷积神经网络(CNN)在医学图像分类任务中的关键步骤。CNN以其在图像处理领域的卓越性能而闻名,广泛应用于图像识别、计算机视觉和模式识别等领域。CNN能够自动学习和提取图像中的特征,使其在各种图像相关任务中表现出色。附上本次学习的代码,供复习查看。

ZTBztb123456的博客 570

Datawhale-AI夏令营:脑PET图像分析和疾病预测挑战赛baseline解读

这段代码是一个完整的深度学习模型训练和预测的流程。下面我会逐步解释每个步骤的作用。首先,这段代码导入了必要的库,包括PyTorch、numpy、pandas等。接着,打印出CUDA版本和是否可用GPU,并将模型部署到GPU上(如果可用)。接下来是数据预处理的部分。通过glob.glob函数获取训练和测试图像的路径,并对其进行随机化。然后定义了一个自定义的Dataset类XunFeiDataset,用于读取和处理图像数据。在__getitem__方法中,首先检查数据是否已经加载过,如果已经加载过则直接使用,否

m0_68165821的博客 419

【AI夏令营第三期笔记分享】

第三期夏令营笔记分享

weixin_41612386的博客 481

AI夏令营|脑PET图像分析和疾病预测挑战赛Task1

跟着视频以及文本教程,很容易就完成了环境的配置。但是其中有两部分没有实现。

wensaaaa的博客 402

AI夏令营脑PET图像分析和疾病预测挑战赛

对于给出的基线CNN的笔记:

weixin_72100405的博客 165
上一篇: Matplotlib绘图简要
下一篇: Python绘图简要---基于Seaborn
Vector Jason
博客等级 码龄6年 35粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值