Flink-Table 配置（十一）

最新推荐文章于 2024-01-12 11:08:06 发布

原创

最新推荐文章于 2024-01-12 11:08:06 发布 · 2.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文档详细介绍了如何通过调整Flink Table & SQL API的配置选项来优化查询执行性能和查询优化器行为，涵盖了执行选项如异步查找联接、小批量优化、并行度设置等，以及优化器选项如聚合策略、联接重新排序等。

默认情况下，Table&SQL API是预配置的，用于生成具有可接受性能的准确结果。

根据表程序的要求，可能需要调整某些参数以进行优化。例如，无边界的流程序可能需要确保所需的状态大小是有上限的（请参阅流概念）。

概述

执行选项

优化器选项

概述

在每个表环境中，TableConfig都提供配置当前会话的选项。
对于常见或重要的配置选项，TableConfig为getter和setters方法提供了详细的内联文档。
对于更高级的配置，用户可以直接访问底层的键值映射。以下部分列出了可用于调整Flink Table&SQL API程序的所有可用选项。
注意：由于在执行操作时在不同的时间点读取选项，建议在实例化表环境后尽早设置配置选项。

// instantiate table environment
TableEnvironment tEnv = ...

// access flink configuration
Configuration configuration = tEnv.getConfig().getConfiguration();
// set low-level key-value options
configuration.setString("table.exec.mini-batch.enabled", "true");
configuration.setString("table.exec.mini-batch.allow-latency", "5 s");
configuration.setString("table.exec.mini-batch.size", "5000");

注意：当前，键值选项仅支持Blink planner。

执行选项

以下选项可用于优化查询执行的性能。

Key	Default	Description
table.exec.async-lookup.buffer-capacity Batch Streaming	100	异步查找联接可以触发的最大异步i/o操作数。
able.exec.async-lookup.timeout Batch Streaming	"3 min"	异步操作完成的异步超时。
able.exec.disabled-operators Batch	(none)	主要用于测试。运算符名称的逗号分隔列表，每