【ZStack】自动化测试系统1——集成测试

测试，对于一个IaaS软件的可靠性、成熟度和可维护性而言，是一个重要的因素.测试在ZStack中是全自动的。这个自动化测试系统包括了三个部分：集成测试，系统测试，基于模块的测试。其中集成测试构建于Junit之上，使用了模拟器。通过这个集成测试系统提供的各种各样的功能，开发人员可以快速的写出测试用例，用于验证一个新特性或者一个缺陷修复。

概述

这个关键因素，在构建一个可靠的、成熟的和可维护的软件产品中，就是架构；这是我们自始自终相信的设计原则。ZStack已经付出了大量的努力，以设计这么一个架构：始终保持软件稳定，无论是添加新特性，常规的操作错误，还是为特殊目的裁剪；我们之前的文章：ZStack—进程内微服务架构、ZStack—通用插件系统、ZStack—工作流引擎、ZStack—标签系统，已经表现了我们的一些尝试。然而，我们也充分理解测试在软件开发中的重要性。ZStack，从第一天开始，设定了这么一个目标：每一个特性都必须有测试用例保证，测试必须是全部自动化的，写单元测试应该是验证一个新特性或任何代码改变的唯一方式。 为了实现这个目标，我们把我们的测试系统分成了三个组件：集成测试，系统测试，模块测试。分类方式是通过它们的关注点和功能。

• 集成测试系统构建于Junit，全部使用模拟器；测试用例存放在ZStack的Java源代码中；开发人员可以轻松地使用常规的Junit命令来启动测试套件。
• 系统测试系统是一个独立的Python项目，称之为zstack-woodpecker，基于ZStack的API；在一个真实的硬件环境中测试一切。
• 8基于模块的测试系统* 构建于基于模块的测试这么一个理论，是zstack-woodpecker中的一个子项目。这个系统中的测试用例将会持续地，以随机的方式，执行API，直到一些预定义的条件被满足。

从这篇文章开始，我们将会有一系列的，共计三篇文章，来详细阐述我们的测试架构，以向你展示我们保证ZStack每一个特性的方式。

#单元测试的几句话 好奇的读者可能已经在他们的心中问了这么一个问题，为什么我们没有提到单元测试，这么一个可能是最著名的，也是每一个冷静的测试驱动的开发人员会强调的测试概念。我们确实有单元测试。如果你看到了后续的章节：测试框架，你可能会困惑，为什么用在命令中的命名类似于：UnitTest balabala，但在这篇文章中被命名为集成测试。

一开始，我们认为我们的测试就是单元测试，因为每一个用例都是用于验证一个独立的组件，而不是整个软件；例如，这么一个用例：TestCreateZone，只测试Zone服务，其他的组件，像VM服务、存储服务将甚至不会被加载。然而，我们做测试的方式确实和传统的单元测试概念有所不同，传统的方式是测试一小段代码，通常是针对内部结构的白盒测试，使用mock和stub的方法论。当前的ZStack有大概120个测试用例满足这个定义，而剩下的500多个并不。大多数的测试用例，甚至关注于独立服务或组件的，都更像集成测试用例，因为会加载多个依赖的服务、组件用以执行一个测试活动。

另一方面，我们大多数的，基于模拟器的测试用例，都实际上在API层面进行测试，这对单元测试的定义而言，这就是倾向于集成测试的黑盒测试。基于这些事实，我们最终改变了我们的主意，我们将要做的是集成测试，不过保留了大量的旧的命名方式，类似UnitTest balabla。

集成测试

从我们先前的经验中，我们深刻地意识到，开发人员持续忽视测试的一个主要原因是：写测试太难了，有的时候甚至比实现一个特性还要难。 当我们设计这个集成测试系统的时候，一个反复考虑的地方便是尽可能地从开发人员那边卸下负担，让系统自身做绝大多数无聊、繁杂的工作。 对于几乎所有的测试用例而言，有两种重复性的工作。其中一个是准备一个最小的但是可以工作的软件；例如，为了测试一个zone，你只需要核心的库和zone服务被加载，没有必要加载其他的服务，因为我们不需要它们。另一个是准备环境；例如，一个测试VM创建的用例，会需要这么一个环境，有一个zone、一个cluster、一个host、存储、网络和所有的其他必须的资源准备就绪；开发人员不会想去重复无聊的事情，像创建一个zone，添加一个host，在他们能够真正开始测试自己的东西之前；理想的情况是，他们可以以最小的努力便获得一个准备就绪的环境，以集中精力与他们想测试的东西。 ##组件加载器 我们解决了所有的这些问题，通过一个构建于JUnit之上的框架。在一切开始之前，由于ZStack通过使用Spring管理着所有的组件，我们创建了一个BeanConstruct，这样测试人员可以按需指定他们想要加载的组件：

public class TestCreateZone {
    Api api;
    ComponentLoader loader;
    DatabaseFacade dbf;

    @Before
    public void setUp() throws Exception {
        DBUtil.reDeployDB();
        BeanConstructor con = new BeanConstructor();
        loader = con.addXml("PortalForUnitTest.xml").addXml("ZoneManager.xml").addXml("AccountManager.xml").build();
        dbf = loader.getComponent(DatabaseFacade.class);
        api = new Api();
        api.startServer();
    }

在上面这个例子中，我们添加了三个Spring配置到BeanConstructor，它们的名字暗示了将会为账户服务、zone服务和其他包括在PortalForUnitTest.xml中的库加载组件。通过这种方式，测试人员可以把软件定制成一个最小的尺寸，仅包含需要的组件，以便加速测试过程和使东西易于调试。

环境部署器

为了帮助测试人员准备一个环境，包含将被测试的活动的所有必须依赖，我们创建了一个部署器，可以读取一个XML配置文件以部署一个完整的模拟器环境：

public class TestCreateVm {
    Deployer deplo