AutoDL公共数据集/autodl-pub/data/

通用计算机视觉数据集

  1. CelebA

    • 内容:大规模人脸属性数据集,包含超过20万张名人图像,每张图像有40多种属性标注(如性别、年龄、发型等)。
    • 用途:人脸识别、属性分析、生成模型(如GANs)。
  2. CIFAR-100

    • 内容:包含100个类别的6万张32x32小图像,每个类别600张(500训练+100测试)。
    • 用途:图像分类、小样本学习。
  3. COCO2017

    • 内容:微软发布的通用图像数据集,包含目标检测、分割、关键点标注等。
    • 用途:目标检测、实例分割、图像描述生成。
  4. ImageNet & ImageNet100

    • 内容:ImageNet包含1400万张图像,覆盖2万多个类别;ImageNet100是其子集(100个类别)。
    • 用途:图像分类、预训练模型(如ResNet、ViT)。
  5. DIV2K

    • 内容:高清图像数据集(2K分辨率),用于超分辨率重建任务。
    • 用途:图像超分、画质增强。
  6. MVTec Anomaly Detection

    • 内容:工业异常检测数据集,包含正常和缺陷样本(如PCB、纺织品)。
    • 用途:缺陷检测、异常定位。

自动驾驶与场景理解

  1. Cityscapes

    • 内容:城市街道场景数据集,包含像素级语义分割标注。
    • 用途:语义分割、自动驾驶感知。
  2. KITTI Object & KITTI Depth Completion

    • 内容:KITTI数据集包含激光雷达、相机数据,涵盖目标检测、深度补全等任务。
    • 用途:3D目标检测、深度估计、SLAM。
  3. nuScenes

    • 内容:多模态自动驾驶数据集(雷达、摄像头、LiDAR),覆盖复杂场景。
    • 用途:3D检测、路径规划。
  4. Waymo Open Dataset

    • 内容:谷歌Waymo发布的自动驾驶数据,包含长序列多传感器数据。
    • 用途:运动预测、行为分析。
  5. CULane

    • 内容:车道线检测数据集,覆盖多种天气和光照条件。
    • 用途:车道检测、自动驾驶导航。

自然语言处理(NLP)

  1. AISHELL

    • 内容:中文语音识别数据集,包含400小时录音及文本转录。
    • 用途:语音识别、声学模型训练。
  2. BERT-Pretrain-Model

    • 内容:预训练的BERT模型及相关语料(可能基于中文或英文)。
    • 用途:文本分类、问答系统。

其他专用数据集

  • CASIAWebFace:人脸识别数据集,包含1万人的50万张图像。
  • CUB200-2011:鸟类细粒度分类数据集,200种鸟类,每类约60张图像。
  • DOTA:遥感图像目标检测数据集,包含飞机、船舶等标注。
  • GOT10k:通用物体跟踪数据集,用于视频目标跟踪。
  • VOCdevkit:Pascal VOC数据集,经典的目标检测/分割数据集。

备注

  • ADEChallengeData2016:场景解析数据集(MIT发布),包含室内外场景分割标注。
### 使用 AutoDL 提供的公开数据集 #### 准备工作 确保已经成功创建了AutoDL实例并处于开机状态。对于未注册用户,需先完成注册流程。 #### 访问和解压数据集 进入JupyterLab环境下的指定路径`/root/autodl-pub/ImageNet/ILSVRC2012`[^2],通过终端命令操作来访问所需的数据集位置。如果目标是ImageNet数据集,则应在此处进行后续的操作: ```bash cd /root/autodl-pub/ImageNet/ILSVRC2012 ``` 针对大规模数据集如ImageNet,在无GPU模式下启动实例可节省成本,并利用脚本自动化处理数据准备过程。具体来说,可以通过运行预置好的shell脚本来实现数据的快速解压缩与整理: ```bash unzip -q *.zip -d /root/autodl-tmp/ ``` 此命令将会把所有训练(`train`)及验证(`val`)图像文件解压至`/root/autodl-tmp`目录内[^1]。 #### 特殊情况处理-val图片分类 对于特定需求比如对ImageNet中的验证(val)做进一步划分时,可以上传预先编写好用于调整结构的小型Shell脚本`valprep.sh`到相应文件夹,并执行该脚本以达到目的: ```bash chmod +x valprep.sh && ./valprep.sh ``` 上述指令赋予脚本执行权限后立即调用它来进行必要的结构调整。 #### 其他公共数据使用案例-KITTI 当涉及到其他类型的公开数据集例如KITTI时,同样遵循类似的逻辑去定位存储位置并通过简单的命令行工具解开所需的资源包: ```bash unzip /root/autodl-pub/KITTI/object/data_object_image_2.zip -d /your/target/path/ ``` 这里的例子展示了如何获取并展开KITTI对象检测任务里的图像素材[^3]。 #### PyCharm远程开发配置-Pascal VOC 2007 在PyCharm环境中设置远程解释器以便于管理和调试基于Pascal VOC 2007或其他相似规模的数据集上的项目。这通常意味着要选择合适的Python版本作为项目的解析器,并安装任何额外依赖项: - 打开Settings对话框(File->Settings) - 寻找Python Interpreter选项页 - 添加新的Remote解释器(点击齿轮图标->Add) 以上步骤能够帮助建立一个高效的远程编程工作站,从而更好地支持复杂机器学习模型的研发活动[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值