Flink单元测试
为什么做单元测试
通常情况下,我们只能假设函数在用户定义的输出下会产生对应的结果。因此我们推荐使用单元测试对写有逻辑的Function进行测试,且测试数据和场景越多越好。
Flink单元测试支持
Flink会在本地启动一个mini cluster resource,以此支持单元测试的运行。
maven依赖
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-test-utils_2.11</artifactId>
<version>1.8.0</version></dependency>
测试代码:
public class ExampleIntegrationTest extends AbstractTestBase {
@Test
public void testMultiply() throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
}
}
Junit 原理
Junit TestRule可以实现Before,After,BeforeClass,AfterClass所有的功能,且更加强大,在对象和类之间的共享更加简单。Junit默认的运行器通过两个注解实现功能:方法级别的Rule和类级别的ClassRule。
Rule,注释在变量或方法上。变量需要是public,且实现接口TestRule。方法需要是public,且返回TestRule类型的对象。
ClassRule,注释在public静态变量或public静态方法上。public静态方法需要返回TestRule子类对象。
我们可以定义多个Rule和ClassRule。
被注解的属性,执行顺序是不固定的,依赖于JVM编译后的结果。同理,被注解的方法执行顺序也无法得到保证。但是属性一定在方法之前执行。
AbstractTestBase
通过源码我们可以看到,AbstractTestBase使用了ClassRule,在test执行之前先行初始化了运行环境。
public abstract class AbstractTestBase extends TestBaseUtils {
private static final int DEFAULT_PARALLELISM = 4;
@ClassRule
public static MiniClusterWithClientResource miniClusterResource = new
MiniClusterWithClientResource(
new MiniClusterResourceConfiguration.Builder()
.setNumberTaskManagers(1)
.setNumberSlotsPerTaskManager(DEFAULT_PARALLELISM)
.build());
@ClassRule
public static final TemporaryFolder TEMPORARY_FOLDER = new
TemporaryFolder();
.
.
.
.
}
在test运行之前,AbstractTestBase初始化了两个变量miniClusterResource以及TEMPORARY_FOLDER。miniClusterResource定义了本地运行的迷你环境,用于支撑测试用例的运行。
我们再来看MiniClusterWithClientResource的继承结构:
MiniClusterWithClientResource-》MiniClusterResource-》ExternalResource-》TestRule
在ExternalResource中实现了Tes