MLCommons Algorithmic Efficiency 项目教程

MLCommons Algorithmic Efficiency 项目教程

algorithmic-efficiency MLCommons Algorithmic Efficiency is a benchmark and competition measuring neural network training speedups due to algorithmic improvements in both training algorithms and models. 项目地址: https://gitcode.com/gh_mirrors/al/algorithmic-efficiency

1、项目介绍

MLCommons Algorithmic Efficiency 是一个用于测量神经网络训练速度提升的基准和竞赛项目。该项目旨在通过算法改进（包括训练算法和模型）来评估和提升神经网络训练的效率。MLCommons Algorithmic Efficiency 由 MLCommons 算法工作组开发，提供了竞赛规则、基准技术文档、入门指南以及基准代码。

2、项目快速启动

安装

推荐使用 Docker 容器来确保与评分和测试环境相似的环境。以下是快速安装 JAX 和 PyTorch 版本的命令：

JAX 版本（GPU）

pip3 install -e '[pytorch_cpu]'
pip3 install -e '[jax_gpu]' -f 'https://storage.googleapis.com/jax-releases/jax_cuda_releases.html'
pip3 install -e '[full]'

PyTorch 版本（GPU）

pip3 install -e '[jax_cpu]'
pip3 install -e '[pytorch_gpu]' -f 'https://download.pytorch.org/whl/cu121'
pip3 install -e '[full]'

快速启动

以下是运行 JAX 和 PyTorch 工作负载的示例代码：

JAX 工作负载

python3 submission_runner.py \
  --framework=jax \
  --workload=mnist \
  --experiment_dir=$HOME/experiments \
  --experiment_name=my_first_experiment \
  --submission_path=reference_algorithms/paper_baselines/adamw/jax/submission.py \
  --tuning_search_space=reference_algorithms/paper_baselines/adamw/tuning_search_space.json

PyTorch 工作负载

python3 submission_runner.py \
  --framework=pytorch \
  --workload=mnist \
  --experiment_dir=$HOME/experiments \
  --experiment_name=my_first_experiment \
  --submission_path=reference_algorithms/paper_baselines/adamw/jax/submission.py \
  --tuning_search_space=reference_algorithms/paper_baselines/adamw/tuning_search_space.json

3、应用案例和最佳实践

应用案例

MLCommons Algorithmic Efficiency 可以用于评估和优化神经网络训练算法。例如，研究人员可以使用该项目来测试新的优化算法，以确定其在不同模型和数据集上的性能提升。

最佳实践

1. 使用 Docker 容器：为了确保环境一致性，建议使用 Docker 容器进行开发和测试。
2. 参考基准代码：在开发新算法时，参考项目提供的基准代码和文档，以确保算法的正确性和效率。
3. 参与竞赛：通过参与 MLCommons Algorithmic Efficiency 的竞赛，可以获得与其他研究人员和开发者的交流机会，进一步提升算法性能。

4、典型生态项目

MLCommons Algorithmic Efficiency 作为一个基准和竞赛项目，与以下生态项目密切相关：

1. MLCommons：MLCommons 是一个致力于推动机器学习技术发展的开放社区，提供了多个基准和竞赛项目。
2. TensorFlow 和 PyTorch：这两个流行的深度学习框架是 MLCommons Algorithmic Efficiency 的主要支持框架，提供了丰富的工具和资源。
3. Docker：Docker 容器技术用于确保开发和测试环境的一致性，是 MLCommons Algorithmic Efficiency 推荐的环境管理工具。

通过这些生态项目的支持，MLCommons Algorithmic Efficiency 能够更好地服务于神经网络训练算法的评估和优化。

algorithmic-efficiency MLCommons Algorithmic Efficiency is a benchmark and competition measuring neural network training speedups due to algorithmic improvements in both training algorithms and models. 项目地址: https://gitcode.com/gh_mirrors/al/algorithmic-efficiency