实时深度半监督学习算法评估套件教程

实时深度半监督学习算法评估套件教程

realistic-ssl-evaluation Open source release of the evaluation benchmark suite described in "Realistic Evaluation of Deep Semi-Supervised Learning Algorithms" 项目地址: https://gitcode.com/gh_mirrors/re/realistic-ssl-evaluation

1. 项目介绍

本项目基于论文《Realistic Evaluation of Deep Semi-Supervised Learning Algorithms》由Avital Oliver等作者共同贡献，其Arxiv预印版编号为arXiv:1804.09170。该开源仓库提供了用于深入研究半监督学习算法真实性能评价的基准测试套件。它旨在通过Python 3环境运行，并依赖于requirements.txt文件中列出的软件包。使用此框架进行研究时，请确保正确引用相关论文。

2. 快速启动

环境准备

首先，确保拥有Python 3.x版本，并安装pip。接下来，克隆项目到本地：

git clone https://github.com/brain-research/realistic-ssl-evaluation.git
cd realistic-ssl-evaluation

安装必要的依赖项：

pip3 install -r requirements.txt

数据集准备

对于SVHN和CIFAR-10数据集，执行以下命令自动下载并预处理数据，同时也创建“标签映射”：

python3 build_tfrecords.py --dataset_name=cifar10
python3 build_label_map.py --dataset_name=cifar10
python3 build_tfrecords.py --dataset_name=svhn
python3 build_label_map.py --dataset_name=svhn

对于ImageNet 32x32，需手动下载（遵循仓库内指引），解压并转换数据格式至.npy，然后构建TFRecords。

mkdir data/imagenet_32
# 下载并解压ImageNet 32x32数据，这步需自行查找具体下载步骤
python3 convert_imagenet.py

运行实验

利用tmuxp或直接调用脚本来启动实验。以评估SVHN数据集上的VAT算法为例（500标签），无需tmuxp的直接命令如下：

CUDA_VISIBLE_DEVICES=0 python3 train_model.py --verbosity=0 --primary_dataset_name='svhn' --secondary_dataset_name='svhn' --root_dir=/path/to/logs --n_labeled=500 --consistency_model=vat --hparam_string=""
CUDA_VISIBLE_DEVICES=1 python3 evaluate_model.py --split=test --verbosity=0 --primary_dataset_name='svhn' --root_dir=/path/to/logs --consistency_model=vat --hparam_string=""

请注意路径和设备ID可能需根据实际情况调整。

3. 应用案例与最佳实践

在进行半监督学习的研究时，本项目提供了一种标准化流程来比较不同方法的性能。最佳实践包括：

• 使用tmuxp管理多任务和资源分配，提高实验效率。
• 严格按照提供的YML配置文件设置实验参数，以复现论文结果。
• 对于新方法的开发，从零开始重复实验，确保公平的性能评估。
• 调整验证集大小模拟不同的实际场景，如论文中的Figure 5所示。

4. 典型生态项目

虽然本仓库专注于半监督学习算法的评估，但其评估框架和实现可以启发新的研究方向或增强现有机器学习工具链。社区成员可以扩展此工作，比如集成最新的半监督学习技术、开发新的数据预处理策略或优化模型训练流程，进一步丰富深度学习和半监督学习的生态系统。

---

以上步骤与指南旨在帮助研究人员和开发者迅速上手并有效利用此开源项目。在实践过程中，务必关注细节调整，以适应特定的研究需求和环境限制。

realistic-ssl-evaluation Open source release of the evaluation benchmark suite described in "Realistic Evaluation of Deep Semi-Supervised Learning Algorithms" 项目地址: https://gitcode.com/gh_mirrors/re/realistic-ssl-evaluation