Flink-数据类型

最新推荐文章于 2024-09-18 19:09:25 发布

转载最新推荐文章于 2024-09-18 19:09:25 发布 · 1.7k 阅读

Flink 专栏收录该内容

0 篇文章

订阅专栏

本文详细介绍了Flink中各种数据类型的支持情况，包括原生数据类型、JavaTuples、ScalaCaseClass、POJOs、FlinkValue以及特殊数据类型。Flink通过TypeInformation对数据类型进行有效管理，实现数据类型推断和性能优化。

描述

Flink支持非常完善的数据类型，数据类型的描述信息都是由TypeInformation定义。TypeInformation主要作用是为了再Flink系统内有效的对数据结构类型进行管理，能够在分布式计算过程中对数据的数据类型进行管理和推断。同时基于对数据的类型信息管理，Flink内部对数据存储也进行了响应的性能优化。

1. 原生数据类型

1.java原生基本类型（装箱）或String类型
2.java原生基本类型（装箱）或String类型对象的数组

2. Java Tuples类型

目前支持的类型字段上限是25，如果字段数量超过上限，可以通过继承Tuple类的方式进行拓展

3. Scala Case Class类型

包括Scala tuples类型，支持的字段上限是22

4. POJOs类型

在这里插入图片描述

5. Flink Value类型

Value数据类型实现了Value，其中包括read()和write()两个方法完成序列化和反序列化操作，相对于通用的序列化工具会有比较高效的性能。目前Flink提供了内建的Value类型有IntValue、DoubleValue已经StringValue等，用户可以结合原生数据类型和Value类型使用