医疗AI实战:5分钟搞定LUNA16肺癌数据集下载与文件解析(附完整目录结构)
当你第一次打开下载好的LUNA16数据集文件夹时,面对几十个压缩包和散落的CSV文件,是不是有种"这到底该怎么用"的困惑?作为医疗AI领域最常用的肺部CT数据集之一,LUNA16却以"下载容易使用难"著称。本文将从实际项目经验出发,带你用开发者视角重新组织这个数据集——不只是简单下载,而是构建一个开箱即用的标准化工作目录。
1. 从官网下载到本地的一站式处理
LUNA16官网提供了完整的CT扫描数据,但下载过程有几个隐藏陷阱。首先访问Grand Challenge官网,在下载页面你会看到两个主要部分:原始CT图像(约50GB)和标注文件(不到1MB)。建议先创建如下目录结构:
luna16/
├── raw/
│ ├── subsets/ # 存放subset0-subset9.zip
│ └── annotations/ # 存放annotations.zip
├── extracted/ # 解压后的原始数据
└── processed/ # 处理后的标准格式
执行下载时,用这个shell脚本自动处理断点续传和校验:
#!/bin/bash
mkdir -p luna16/raw/{subsets,annotations}
cd luna16/raw/annotations
wget -c https://zenodo.org/record/3723295/files/annotations.csv
cd ../subsets
for i in {0..9}; do
wget -c "https://zenodo.org/record/3723295/files/subset${i}.zip"
done
注意:实际下载链接可能随官网更新变化,建议先检查页面最新地址。国内用户可使用
-c参数避免网络波动导致重复下载。
2. 解密数据集文件结构
解压所有zip文件后,你会看到三类核心文件:
| 文件类型 | 数量 | 用途说明 | 典型大小 |
|---|---|---|---|
| .mhd+.raw组合 | 888 | CT扫描的元数据+体素数据 | 100-300MB/组 |
| annotations.csv | 1 | 确诊肿瘤的结节坐标及直径 | 1186行 |
| candidates.csv | 1 | 候选结节(含假阳性)的标注信息 | 551,065行 |
关键点在于理解seriesuid的映射关系。每个CT扫描案例对应一个唯一的seriesuid,例如1.3.6.1.4.1.14519.5.2.1.6279.6001.102133688497886810253331438797。这个ID在三个地方出现:
- mhd文件名:
subset0/1.3.6...mhd - annotations.csv:标记确诊肿瘤的位置
- candidates.csv:记录所有可疑结节(含假阳性)
用这个Python代码快速验证数据完整性:
import pandas as pd
ann = pd.read_csv("annotations.csv")
print(f"确诊肿瘤数: {len(ann)}")
cand = pd.read_csv("candidates.csv")
print(f"候选结节数: {len(cand[cand['class']==1])}真阳性 / {len(cand[cand['class']==0])}假阳性")
3. 构建标准化工作目录
原始解压后的文件散落在多个subset文件夹,我推荐重组为按病例ID分类的结构:
processed/
├── case_001/
│ ├── CT.mhd # 原始CT元数据
│ ├── CT.raw # 原始体素数据
│ ├── masks/ # 结节标注
│ │ ├── nodule_001.npy # 3D结节掩模
│ │ └── nodule_002.npy
│ └── metadata.json # 病例摘要信息
└── case_002/
└── ...
实现这个结构的自动化脚本核心逻辑:
from pathlib import Path
import shutil
def reorganize_dataset(src_dir, target_dir):
target_dir = Path(target_dir)
target_dir.mkdir(exist_ok=True)
for mhd_file in Path(src_dir).glob("**/*.mhd"):
case_id = mhd_file.stem
case_dir = target_dir / f"case_{case_id[-4:]}"
case_dir.mkdir(exist_ok=True)
# 拷贝CT文件
shutil.copy(mhd_file, case_dir/"CT.mhd")
shutil.copy(mhd_file.with_suffix(".raw"), case_dir/"CT.raw")
# 提取对应标注
case_ann = ann[ann["seriesuid"]==case_id]
save_annotations(case_ann, case_dir)
提示:处理.raw文件时要注意字节序问题,SimpleITK读取比手动解析更可靠:
import SimpleITK as sitk
ct = sitk.ReadImage(str(mhd_file))
arr = sitk.GetArrayFromImage(ct) # 得到(z,y,x)顺序的numpy数组
4. 标注文件的深度解析
annotations.csv中的关键字段需要特殊处理:
- 坐标转换:CSV中的XYZ是物理坐标(mm),需要转换为体素坐标
- 直径处理:diameter_mm字段存在测量误差,实际建议用标注掩模的连通域计算
坐标转换公式:
def physical_to_voxel(coord, origin, spacing):
return (coord - origin) / spacing
典型CT的参数可以通过mhd头文件获取:
ObjectType = Image
NDims = 3
DimSize = 512 512 123
ElementSpacing = 0.7 0.7 1.25
Offset = -180.3 -180.3 -150.5
ElementType = MET_SHORT
在项目实践中,我发现这些参数对模型性能影响显著:
- 重采样对齐:不同CT的spacing不同,需要统一到1mm³
- 值域裁剪:CT原始值(-1000到3000HU)应截取到[-1000,400]的肺窗范围
- 标注扩充:直径小于3mm的结节建议适当放大避免采样丢失
5. 高效数据加载方案
为避免每次重复处理原始数据,推荐使用HDF5存储预处理结果:
import h5py
with h5py.File("luna16_processed.h5", "w") as f:
for case_dir in processed_dir.glob("case_*"):
grp = f.create_group(case_dir.name)
grp.attrs["spacing"] = ct.GetSpacing()
grp.create_dataset("ct", data=arr, compression="gzip")
for i, nodule in enumerate(nodules):
grp.create_dataset(f"nodule_{i}", data=nodule_mask)
配套的数据加载器应该实现:
- 内存映射:对超大HDF5文件使用
chunk_cache - 在线增强:包括随机旋转、弹性变形等
- 负样本采样:从candidates.csv中随机选取假阳性样本
class LunaDataset(torch.utils.data.Dataset):
def __init__(self, h5_path, augment=False):
self.h5 = h5py.File(h5_path, "r", rdcc_nbytes=1024**3)
self.cases = list(self.h5.keys())
def __getitem__(self, idx):
case = self.h5[self.cases[idx]]
ct = torch.from_numpy(case["ct"][:])
mask = torch.stack([case[k] for k in case if k.startswith("nodule")])
return ct, mask
6. 常见问题解决方案
Q1:下载的subset文件损坏怎么办?
验证MD5值并重新下载异常文件:
md5sum subset*.zip | grep -v "a1b2c3d4" # 替换为正确的MD5
Q2:内存不足无法处理全部数据?
使用生成器分批处理:
def batch_processor(files, batch_size=4):
for i in range(0, len(files), batch_size):
batch = files[i:i+batch_size]
with ThreadPoolExecutor() as executor:
yield from executor.map(process_file, batch)
Q3:如何快速预览某个病例?
使用matplotlib创建交互式查看器:
def plot_ct_slice(arr, slice_idx):
plt.figure(figsize=(10,10))
plt.imshow(arr[slice_idx], cmap="gray", vmin=-1000, vmax=400)
plt.colorbar()
plt.title(f"Slice {slice_idx}")
最后分享一个真实项目中的经验:处理第一批数据时,我花了三天时间调试坐标转换错误,最终发现是mhd文件中的Offset坐标系与DICOM标准不同。现在每次拿到新数据,都会先用ITK-SNAP可视化确认第一个体素的位置是否正确。
1321



被折叠的 条评论
为什么被折叠?



