分布式协同AI基准测试KubeEdge-Ianvs快速入门教程

原创

已于 2022-07-28 14:38:17 修改 · 2.7k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#benchmark #测试工具 #人工智能 #AI

于 2022-07-28 01:43:26 首次发布

KubeEdge-Ianvs是一个分布式协同AI基准测试工具，旨在解决业务数据集获取、全场景多范式测试、测试环境封闭等问题。它提供丰富的AI生态，支持全场景灵活切换，具有可扩展的工具链，并简化测试用例准备。通过安装Ianvs，用户可以按照指南进行测试环境、测试算法、基准测试工作和运行测试。测试结果以可视化表格形式展示，便于理解和分析。

简介

分布式协同AI基准测试KubeEdge-Ianvs是KubeEdge SIG AI孵化的一个全新的社区子项目，主要来解决工业界如下核心痛点：

1. 业务数据集及其配套算法难以获取；

2. 全场景多范式测试成本高；

3. 封闭测试环境难以跟上各类新业务孵化；

4. 个性场景的测试用例准备繁琐；

KubeEdge-Ianvs具备的如下特点：

1. 丰富的AI生态，开箱即用：数据集与配套算法，覆盖开发5+流程，零改造开箱即用；

2. 全场景灵活切换：用例管理统一不同架构与接口，同一套工具兼容5+场景范式；

3. 可扩展开放工具链：环境管理自定义数据集与指标，告别封闭守旧的测试环境；

4. 用例管理辅助生成测试用例，简单的配置即可降低繁琐重复编程；

本文后面将详细介绍KubeEdge-Ianvs如何快速入门。

依赖环境

你需要准备符合如下要求的工作设备：

1. 一台计算机，比如虚拟机、台式机或者笔记本；

2. 可用内存至少有4GB；

3. 可用硬盘空间至少10GB;

4. 已安装python 3.6+；

5. 可访问GitHub和pip等；

在本次案例演示中，设备是带有python3.6的Linux系统。若你的设备是Windows系统，下文介绍的步骤仍然适用，但相关命令可能会有所不同。

安装Ianvs

step1: 下载ianvs仓库。

mkdir /ianvs
cd /ianvs #One might use another path preferred

mkdir project
cd project
git clone https://github.com/kubeedge/ianvs.git

step2: 安装第三方依赖。

sudo apt-get update
sudo apt-get install libgl1-mesa-glx -y
python -m pip install --upgrade pip

cd ianvs
python -m pip install ./examples/resources/third_party/*
python -m pip install -r requirements.txt

step3: 安装 ianvs。

python setup.py install

案例演示

以ianvs仓库中的singletask_learning_bench为例子。

1. 准备测试环境

step1: 准备测试环境的配置文件，请下载testenv.yaml。

testenv:
  dataset:
    # 训练数据集的索引文件地址，当前只支持txt格式；
    train_url: "/ianvs/dataset/train_data/index.txt"
    # 测试数据集的索引文件地址，当前只支持txt格式；
    test_url: "/ianvs/dataset/test_data/index.txt"

  metrics:
      # 用来测试算法的指标，名字和下面介绍的指标函数的别名保持一致；
    - name: "f1_score"
      # 指标函数
      url: "./examples/pcb-aoi/singletask_learning_bench/testenv/f1_score.py"

step2: 准备指标函数，请下载f1_score.py。