对比主动学习项目最佳实践教程

对比主动学习项目最佳实践教程

contrastive-active-learning Code for the EMNLP 2021 Paper "Active Learning by Acquiring Contrastive Examples" & the ACL 2022 Paper "On the Importance of Effectively Adapting Pretrained Language Models for Active Learning" 项目地址: https://gitcode.com/gh_mirrors/co/contrastive-active-learning

1. 项目介绍

本项目是基于论文《Active Learning by Acquiring Contrastive Examples》的开源实现，提出了一个名为CAL（对比主动学习）的新的主动学习方法。该方法通过选择在模型特征空间中相似但预测概率差异最大的样本，即对比样本，来进行主动学习。本项目旨在为研究人员和开发者提供一个工具，以方便他们实现和使用CAL方法，并与其它主动学习策略进行比较。

2. 项目快速启动

首先，确保您的环境中已安装了Python 3、PyTorch 1.9.0和transformers 3.1.0。

创建虚拟环境（可选）

conda create -n cal python=3.7
conda activate cal

安装PyTorch和依赖

根据您的CUDA版本，安装相应的PyTorch版本：

conda install pytorch==1.9.0 torchvision torchaudio cudatoolkit=11.1 -c pytorch -c nvidia

然后安装项目剩余依赖：

pip install -r requirements.txt

下载数据集

运行以下脚本以下载所需的数据集：

bash get_data.sh

请注意，DBPedia数据集较大，需要从这里手动下载。

运行示例

以下是运行主动学习实验的示例命令：

python run_al.py --dataset_name sst-2 --acquisition cal

3. 应用案例和最佳实践

• 数据集选择：选择与任务相关的数据集，本项目支持多种NLP任务的数据集。
• 模型选择：目前本项目主要使用BERT-BASE模型，但可以通过少量修改支持HuggingFace提供的其他模型。
• 超参数调优：对于不同的数据集和任务，可能需要调整超参数以获得最佳性能。
• 性能评估：通过比较不同主动学习策略的性能来评估CAL方法的有效性。

4. 典型生态项目

本项目是一个典型的NLP领域主动学习研究项目，其生态包括但不限于：

• HuggingFace：提供预训练模型和模型库，方便研究者使用和比较。
• ALPS、BatchBALD：本项目参考了这些项目的代码，用于实现和对比不同的主动学习策略。

通过这些项目和资源的结合使用，可以进一步推动主动学习领域的研究和应用。

contrastive-active-learning Code for the EMNLP 2021 Paper "Active Learning by Acquiring Contrastive Examples" & the ACL 2022 Paper "On the Importance of Effectively Adapting Pretrained Language Models for Active Learning" 项目地址: https://gitcode.com/gh_mirrors/co/contrastive-active-learning