18、基础机器学习训练系统的实现与可靠性原则

基础机器学习训练系统的实现与可靠性原则

1. 基础机器学习训练系统架构

基础的机器学习训练系统架构相对简单但较为完整且易于管理。在这个简化的训练系统中，数据从左侧流入，模型从右侧输出。中间过程包括对数据进行清理、转换和读取，使用机器学习框架应用训练算法将数据转化为模型，对生成的模型进行评估，判断其是否结构良好、是否有用，最后将可服务版本的模型复制到服务系统中，以便集成到应用程序中。同时，通过元数据系统跟踪模型和数据，确保管道持续工作，并对整个过程进行监控。

graph LR
    A[数据输入] --> B[数据清理与转换]
    B --> C[机器学习框架]
    C --> D[模型生成]
    D --> E[模型评估]
    E --> F{模型是否合格?}
    F -- 是 --> G[模型部署到服务系统]
    F -- 否 --> C
    H[元数据系统] <--> B
    H <--> C
    H <--> D
    H <--> E
    I[监控系统] <--> B
    I <--> C
    I <--> D
    I <--> E
    I <--> G

2. 特征

• 特征定义 ：训练数据是与模型相关的世界中的事件或事实数据，特征则是这些数据的特定、可测量方面，是在建模、分类和预测未来事件时最可能有用的方面。特征