MLOps 课程教程

MLOps 课程教程

mlops-course Learn how to design, develop, deploy and iterate on production-grade ML applications. 项目地址: https://gitcode.com/gh_mirrors/ml/mlops-course

1. 项目介绍

MLOps 课程是一个开源项目，旨在教授如何将机器学习和软件工程相结合，以设计、开发、部署和迭代生产级别的机器学习应用。课程涵盖了从模型设计到模型部署的整个生命周期，并且强调了在实际生产环境中实施机器学习的重要性。

2. 项目快速启动

环境搭建

首先，需要克隆项目仓库：

git clone https://github.com/GokuMohandas/Made-With-ML.git
cd Made-With-ML

然后，根据你的操作系统设置虚拟环境并安装依赖：

# 对于 macOS 和 Linux
python3 -m venv venv
source venv/bin/activate

# 对于 Windows
python3 -m venv venv
venv\Scripts\activate

pip install -r requirements.txt

运行 Jupyter Notebook

启动 Jupyter Notebook 以交互式地浏览核心的机器学习工作负载：

jupyter lab notebooks/madewithml.ipynb

训练模型

设置实验名称和数据集位置，然后运行训练脚本：

export EXPERIMENT_NAME="llm"
export DATASET_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/dataset.csv"
export TRAIN_LOOP_CONFIG='{"dropout_p": 0.5, "lr": 1e-4, "lr_factor": 0.8, "lr_patience": 3}'

python madewithml/train.py \
--experiment-name "$EXPERIMENT_NAME" \
--dataset-loc "$DATASET_LOC" \
--train-loop-config "$TRAIN_LOOP_CONFIG" \
--num-workers 1 \
--cpu-per-worker 3 \
--gpu-per-worker 1 \
--num-epochs 10 \
--batch-size 256 \
--results-fp results/training_results.json

3. 应用案例和最佳实践

在本课程中，你将学习到如何将机器学习模型从实验阶段迭代到生产阶段。以下是一些应用案例和最佳实践：

• 持续集成/持续部署 (CI/CD)：设置自动化流程以持续训练和部署模型。
• 模型版本控制：跟踪模型的不同版本，以便于回溯和部署。
• 测试和监控：实施测试以确保模型的质量，并监控生产中的模型性能。

4. 典型生态项目

MLOps 生态系统中包含了许多典型的项目，例如：

• Ray：一个开源的分布式框架，用于简化机器学习工作负载的扩展。
• KubeRay：在 Kubernetes 上部署和管理 Ray 集群的工具。
• MLflow：一个开源的机器学习生命周期管理工具。

通过本课程的学习，你将能够更好地理解和运用这些生态项目，以提升你的机器学习工作流程的效率和质量。

mlops-course Learn how to design, develop, deploy and iterate on production-grade ML applications. 项目地址: https://gitcode.com/gh_mirrors/ml/mlops-course