Building Machine Learning Pipelines 项目教程

郑微殉

于 2024-10-11 08:11:24 发布

阅读量388

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_01110/article/details/142843235

Building Machine Learning Pipelines 项目教程

building-machine-learning-pipelines Code repository for the O'Reilly publication "Building Machine Learning Pipelines" by Hannes Hapke & Catherine Nelson 项目地址: https://gitcode.com/gh_mirrors/bu/building-machine-learning-pipelines

1. 项目目录结构及介绍

building-machine-learning-pipelines/
├── AUTHORS.rst
├── CHANGELOG.rst
├── CONTRIBUTING.rst
├── LICENSE
├── MANIFEST.in
├── Makefile
├── README.md
├── __init__.py
├── setup.cfg
├── github/
│   └── ISSUE_TEMPLATE/
├── chapters/
├── components/
├── interactive-pipeline/
├── pipelines/
├── pre-experiment-pipeline/
├── requirements/
└── utils/
    └── download_dataset.py

目录结构介绍

AUTHORS.rst: 项目作者信息。
CHANGELOG.rst: 项目变更日志。
CONTRIBUTING.rst: 贡献指南。
LICENSE: 项目许可证。
MANIFEST.in: 项目清单文件。
Makefile: 项目构建文件。
README.md: 项目介绍和使用说明。
init.py: Python包初始化文件。
setup.cfg: 项目配置文件。
github/ISSUE_TEMPLATE/: GitHub问题模板。
chapters/: 各章节的独立代码。
components/: 项目组件。
interactive-pipeline/: 交互式TFX管道。
pipelines/: 完整的管道代码，包括Apache Beam、Apache Airflow、Kubeflow Pipelines和GCP。
pre-experiment-pipeline/: 预实验管道。
requirements/: 项目依赖文件。
utils/download_dataset.py: 数据集下载脚本。

2. 项目启动文件介绍

项目的启动文件主要是utils/download_dataset.py。该脚本用于下载初始数据集，为后续的机器学习管道准备数据。

启动步骤

从项目的根目录执行以下命令：
```
python3 utils/download_dataset.py
```
执行完毕后，会在项目根目录下生成一个data文件夹，其中包含consumer_complaints_with_narrative.csv文件。

3. 项目的配置文件介绍

setup.cfg

setup.cfg是项目的配置文件，用于定义项目的元数据和构建配置。以下是该文件的部分内容示例：

[metadata]
name = building-machine-learning-pipelines
version = 0.1
description = Code repository for the O'Reilly publication "Building Machine Learning Pipelines" by Hannes Hapke & Catherine Nelson
author = Hannes Hapke & Catherine Nelson
license = MIT

[options]
packages = find:
install_requires =
    tensorflow==2.6.1
    tfx==1.4.0
    apache-beam==2.33.0