DeepRecSys 开源项目教程

DeepRecSys 开源项目教程

DeepRecSys http://vlsiarch.eecs.harvard.edu/research/recommendation/ 项目地址: https://gitcode.com/gh_mirrors/de/DeepRecSys

1. 项目介绍

DeepRecSys 是一个用于优化大规模神经推荐系统推理的端到端基础设施。该项目旨在通过配置三个主要维度（负载生成器、神经推荐模型和底层硬件平台）来研究和优化大规模神经推荐系统的推理性能。DeepRecSys 支持多种行业代表性的神经推荐模型，并提供了灵活的扩展性，以便于未来的研究和开发。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了 Python 和 Conda 环境。然后，使用以下命令安装所需的 Python 包：

conda create -n deeprecsys python=3.8
conda activate deeprecsys
pip install -r build/pip_requirements.txt

2.2 运行示例模型

DeepRecSys 提供了多个示例脚本来运行合成模型、表征硬件平台性能、模型大规模推理以及优化调度决策。以下是一个简单的示例，展示如何运行一个示例模型：

# 激活环境
conda activate deeprecsys

# 运行示例模型
python DeepRecSys.py --model=DLRM-RMC1 --hardware=CPU

2.3 自定义模型和硬件配置

你可以通过修改 DeepRecSys.py 文件中的参数来配置不同的模型和硬件平台。例如，如果你想使用 GPU 而不是 CPU，可以修改 --hardware 参数：

python DeepRecSys.py --model=DLRM-RMC1 --hardware=GPU

3. 应用案例和最佳实践

3.1 性能表征

DeepRecSys 提供了多个实验脚本来表征神经推荐模型的性能。例如，experiments/operator_breakdown/sweep_p.py 脚本可以生成每个模型在 CPU 和 GPU 上的操作分解。

python experiments/operator_breakdown/sweep_p.py --model=DLRM-RMC1

3.2 大规模推理建模

为了模拟大规模推理，DeepRecSys 提供了一个示例脚本 run_DeepRecInfra.sh。该脚本运行端到端系统，使用示例模型、查询输入到达和负载生成器的尺寸分布，在仅 CPU 和 CPU 与加速器节点上运行。

bash run_DeepRecInfra.sh

3.3 优化推理 QPS

为了优化推理 QPS 并满足严格的尾部延迟目标，DeepRecSys 提供了一个示例脚本 run_DeepRecSys.sh。该脚本结合了查询调度器，在 CPU 核心（平衡数据级和线程级并行性）和模拟加速器节点（将查询卸载到专用硬件）上运行。

bash run_DeepRecSys.sh

4. 典型生态项目

DeepRecSys 作为一个端到端的神经推荐系统优化工具，可以与其他开源项目结合使用，以进一步增强其功能和性能。以下是一些典型的生态项目：

4.1 TensorFlow Recommenders

TensorFlow Recommenders 是一个用于构建推荐系统的 TensorFlow 扩展库。它可以与 DeepRecSys 结合使用，以构建和优化复杂的推荐模型。

4.2 PyTorch Lightning

PyTorch Lightning 是一个用于简化 PyTorch 模型训练和推理的库。它可以与 DeepRecSys 结合使用，以提高模型训练和推理的效率。

4.3 Ray

Ray 是一个用于构建分布式应用程序的框架。它可以与 DeepRecSys 结合使用，以实现大规模分布式推荐系统的推理和优化。

通过结合这些生态项目，DeepRecSys 可以进一步扩展其功能，满足不同场景下的推荐系统优化需求。

DeepRecSys http://vlsiarch.eecs.harvard.edu/research/recommendation/ 项目地址: https://gitcode.com/gh_mirrors/de/DeepRecSys