C/C++生态工具链——单元测试工具Catch2简介

一，关于单元测试

        单元测试指对软件中的最小可测试单元进行检查和验证，软件中的最小可测试单元有函数、接口、类等。测试时，最小可测试单元与程序中的其他部分相隔离。常用的单元测试框架有: Catch、Boost.Test、googletest、UnitTest++。常见的两种测试模式：TDD（测试驱动开发）和BDD（行为驱动开发）。

二，TDD模式简介

        测试驱动开发 (TDD，全称test-driven-development) 是一种软件开发实践，专注于在开发实际代码之前创建单元测试用例。它是一种迭代式的软件开发流程，在迭代的过程中将编码、单元测试和代码重构结合起来。TDD在测试失败时修改或编写新代码，防止重复测试同一个bug。

TDD的步骤

1.根据对功能的假设来创建测试单元

2.测试失败后更改代码，直到运行正常

3.重构代码。检查冗余的代码，优化代码的结构。

TDD的优点

大大减少了开发时导致的缺陷数量。

后续花在调试上的时间会更少。

新功能的添加和测试变得更加容易。

测试覆盖率高于传统的开发模式。

三，BDD模式简介

        行为驱动开发（BDD，全称behavior-driven-development），是基于TDD做的修改，BDD和TDD之间有很多相似之处，因为它们都需要开发人员在编写代码之前先编写测试用例以通过测试。但是TDD更侧重于单独测试较小的功能，而BDD更侧重于从用户的角度验证应用程序的业务功能。 

BDD的步骤

1.给定业务功能的场景

2.定义场景的执行步骤，编写测试用例

3.运行执行步骤的测试代码，如果失败了，修改步骤对应的代码，直到测试通过

BDD的语言描述形式

GIVE-WHEN-THEN模式， 参考下面两个DSL语言样例

场景1：

Scenario: Blog Search
Given I visit the blog page
When I search for “BDD”
Then I get posts related to BDD

场景2：

Scenario: user logs in to application
Given authorized user “John”
When I enter “John” in the username field
And I enter “sekret1” in the password field
And I click the login button
Then the homepage should open

BDD的优点

        由于BDD使用非常简单的语言来描述测试过程，更方便沟通和迭代，使产品经理、开发者和测试者都可以深入了解项目的进展，使开发出来的产品可以快速响应用户的反馈和需求。BDD可以最大限度的减少因误解需求和验收标准而导致的返工。

        下面开始介绍Catch2的用法，并利用Catch2实现BDD风格的测试。

四，Catch2介绍

        Catch2是主要用于C++开发场景的单元测试框架，用法和googletest有几分相似，但是定义测试用例名称的时候不需要像googletest那样严格，googletest要求必须是有效的C++变量名且不包含C++关键字。

        这个”拿捏“的手势就是Catch2的官方logo

Catch2的特性

        仅使用头文件就可以完成测试样例构建，无其他依赖库。

        支持自注册函数。比如，我们可以使用Catch2提供的main()函数，也可以自己定义注册一个main()函数。

        支持BDD测试模式，可以使用Given-When-Then模式来做BDD测试。

        测试用例之间相互隔离，同一个测试用例内部，又可以分割为多个section，每个section都是独立的运行单元。

        测试用例命名时支持自由格式的字符串命名。

Catch2的安装和CMake集成

1.安装Catch2的方式

        (1).直接下载头文件，然后直接在项目中使用头文件。

        头文件使用方式 ：

#define CATCH_CONFIG_MAIN#include <catch2/catch.hpp>

        当有多个cpp文件包含Catch2实现的测试用例时，只能有一个cpp文件有“#define CATCH_CONFIG_MAIN”宏定义，不然会报错。

        (2).从git仓库下载完整的Catch2源代码，编译后开始使用。这个推荐新手使用，因为里面还包含了测试代码样例，方便学习。

        下载编译方式：

$ git clone https://github.com/catchorg/Catch2.git
$ cd Catch2
$ cmake -Bbuild -H. -DBUILD_TESTING=OFF
$ sudo cmake --build build/ --target install

2.Catch2在CMake中的集成 

        方式1，依赖库模式

        先利用CMake将Catch2完整项目代码导出成依赖库（Catch2::Catch2和Catch2::Catch2WithMain两个依赖库），然后用target_link_libraries函数链接这两个依赖库。

        CMake语句样例：

find_package(Catch2 3 REQUIRED)
#不需要自定义main()函数时使用
add_executable(tests_01 test.cpp)
target_link_libraries(tests_01 PRIVATE Catch2::Catch2WithMain)
#需要自定义main()函数时使用
add_executable(tests_02 test.cpp main.cpp)
target_link_libraries(tests_02 PRIVATE Catch2::Catch2)

        Catch2依赖库和目标程序代码放在同一个目录下时使用find_package，Catch2依赖库放在子目录下（比如lib文件夹）时，使用add_subdirectory(lib/Catch2)。

        方式2，头文件模式

        利用target_include_directories函数将Catch2头文件所在的路径告诉给编译器。

        CMake语句样例：

set(CATCH_INCLUDE_DIR ${CMAKE_CURRENT_SOURCE_DIR}/catch2)
add_library(Catch2 INTERFACE)
target_include_directories(Catch2 INTERFACE ${CATCH_INCLUDE_DIR})
target_link_libraries(cpp_test Catch2)

        Catch2的使用方式

        基本用法：

        step.01 引入相关的头文件和宏定义。如果需要自己定义main()函数，还需要定义宏CATCH_CONFIG_RUNNER。

        step.02  利用TEST_CASE宏定义一个测试样例。TEST_CASE需要传入两个字符串类型的参数：一个表示测试用例的名称，一个表示测试用例的标签（可选）。

        step.03  编写测试逻辑。

        step.04  执行测试代码。

        测试代码样例：

#include <catch2/catch_test_macros.hpp>
static int Factorial( int number ) {
return number <= 1 ? 1 : Factorial( number - 1 ) * number;
}
TEST_CASE( "Factorial of 0 is 1 (fail)", "[single-file]" ) {
REQUIRE( Factorial(0) == 1 );
}
TEST_CASE( "Factorials of 1 and higher are computed (pass)", "[single-file]" ) {
REQUIRE( Factorial(1) == 1 );
REQUIRE( Factorial(2) == 2 );
REQUIRE( Factorial(3) == 6 );
REQUIRE( Factorial(10) == 3628800 );
}

        Catch2常用的关键字语法

        1.断言：REQUIRE和CHECK

        REQUIRE：测试失败后中止测试用例

        CHECK：测试失败后继续执行

        样例：

CHECK( str == "string value" );
CHECK( thisReturnsTrue() );
REQUIRE( i == 42 );

        2.匹配器：Matchers

        匹配器可以理解成场景更复杂的断言。

        样例： 推断字符串是否以“as a service”子字符串结尾，并且包含”webserver“子字符串。

using Catch::Matchers::EndsWith;
using Catch::Matchers::ContainsSubstring;
REQUIRE_THAT( getSomeString(),
EndsWith("as a service") && ContainsSubstring("webserver"));

        3.测试用例分片：SECTION

        每个section都是一段独立的执行逻辑，与其他section无关

        样例：

TEMPLATE_TEST_CASE( "vectors can be sized and resized", "[vector][template]", int, std::string, (std::tuple<int,float>) ) {
    std::vector<TestType> v( 5 );
    REQUIRE( v.size() == 5 );
    REQUIRE( v.capacity() >= 5 );
    SECTION( "resizing bigger changes size and capacity" ) {
    v.resize( 10 );
    REQUIRE( v.size() == 10 );
    REQUIRE( v.capacity() >= 10 );
}
SECTION( "resizing smaller changes size but not capacity" ) {
    v.resize( 0 );
    REQUIRE( v.size() == 0 );
    REQUIRE( v.capacity() >= 5 );
    SECTION( "We can use the 'swap trick' to reset the capacity" ) {
    std::vector<TestType> empty;
    empty.swap( v );
    REQUIRE( v.capacity() == 0 );
    }
}
    SECTION( "reserving smaller does not change size or capacity" ) {
    v.reserve( 0 );
    REQUIRE( v.size() == 5 );
    REQUIRE( v.capacity() >= 5 );
    }
}

        4.基准测试：BENCHMARK

        样例：针对斐波拉契的样本量做基准测试

std::uint64_t Fibonacci(std::uint64_t number) {
    return number < 2 ? 1 : Fibonacci(number - 1) + Fibonacci(number - 2);
}
TEST_CASE("Fibonacci") {
    CHECK(Fibonacci(0) == 1);
    // some more asserts..
    CHECK(Fibonacci(5) == 8);
    // some more asserts..
    // now let's benchmark:
    BENCHMARK("Fibonacci 20") {
        return Fibonacci(20);
    };
    BENCHMARK("Fibonacci 25") {
        return Fibonacci(25);
    };
}

五，基于Catch2的BDD测试

测试代码样例

SCENARIO( "vector can be sized and resized" ) {
    GIVEN( "An empty vector" ) {
        auto v = std::vector<std::string>{};
        // Validate assumption of the GIVEN clause
        THEN( "The size and capacity start at 0" ) {
            REQUIRE( v.size() == 0 );
            REQUIRE( v.capacity() == 0 );
        }
        // Validate one use case for the GIVEN object
        WHEN( "push_back() is called" ) {
            v.push_back("hullo");
            THEN( "The size changes" ) {
                REQUIRE( v.size() == 1 );
                REQUIRE( v.capacity() >= 1 );
            }
        }
    }
}

测试代码产生的BDD测试场景

Scenario : vector can be sized and resized
Given : An empty vector
Then : The size and capacity start at 0
Scenario : vector can be sized and resized
Given : An empty vector
When : push_back() is called
Then : The size changes

六，完整工程演示

参考项目

GitHub - softwareschneiderei/catch_and_jenkins: Sample project to integrate catch2, cmake and jenkins

项目结构

CMake中关于Catch2的配置

用target_include_directories函数指明头文件catch.hpp的位置

测试代码 

string_utils.test.cpp文件

#include <catch.hpp>
#include "string_utils.h"
SCENARIO("strings can be left-padded") {
    GIVEN("a string") {
    using namespace std::string_literals;
    auto string = "schneide"s;
    WHEN("the string is padded with lower length") {
    auto length = 4;
    REQUIRE(length < string.length());
    THEN("it stays the same") {
    REQUIRE(string_utils::left_pad(string, length) == string);
    }
}
WHEN("the string is padded with a higher length") {
    std::size_t length = 16;
    REQUIRE(length > string.length());
        THEN("empty characters are inserted to the left and the length is changed") {
            auto padded = string_utils::left_pad(string, length);
            REQUIRE(length == padded.length());
            auto padding = padded.substr(0, length - string.length());
            REQUIRE(padding == std::string(8, ' '));
            }
        }
    }
}

编译执行命令

#编译
mkdir build
cd build/
cmake ..
make
#运行测试样例
cd tests/
./tests

运行结果

参考阅读：

https://www.tutorialspoint.com/software_testing_dictionary/test_driven_development.htm

https://cucumber.io/docs/bdd/

https://www.clariontech.com/blog/bdd-agile-development-process

https://github.com/catchorg/Catch2/tree/devel/examples

https://schneide.blog/2017/12/11/integrating-catch2-with-cmake-and-jenkins/