9、机器学习数据、特征准备与元数据管理

机器学习数据、特征准备与元数据管理

数据与特征准备

在机器学习中，数据和特征准备是至关重要的环节。我们先来看一个分布式特征准备的示例：

assembler = VectorAssembler(inputCols=[
    "body_features", "body_vecs", "contains_python_stack_trace",
    "contains_java_stack_trace", "contains_exception_in_task"
],
                            outputCol="features")

有了这个最终的分布式特征准备示例，无论面对大数据量还是小数据量，我们都能做好应对准备。如果处理小数据，也可以使用容器化的简单技术，继续使用喜欢的工具。

接下来，我们要把各个数据和特征准备的步骤整合到一个管道中。在本地示例里，我们编写函数时明确了类型和返回参数，这样便于放入管道。由于每个阶段都会返回输出路径，我们可以利用函数输出创建依赖图。以下是将函数整合到管道的示例：

@kfp.dsl.pipeline(name='Simple1', description='Simple1')
def my_pipeline_mini(year: int):
    dvop = dsl.VolumeOp(name="create_pvc",
                        resource_name="my-pvc-2",