Flink教程-flink 1.11 流式数据ORC格式写入file

最新推荐文章于 2024-07-11 09:57:01 发布

原创

最新推荐文章于 2024-07-11 09:57:01 发布 · 5.5k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#flink #orc #hdfs #1.11 #教程

本文深入探讨了如何使用Flink的StreamingFileSink将流式数据以ORC格式写入文件系统，从工厂类OrcBulkWriterFactory的构造到向量化操作，再到具体实例的构造，全面解析了这一过程。

文章目录

StreamingFileSink简介
写入orc工厂类
- 向量化操作
- 构造OrcBulkWriterFactory
实例讲解

在flink中，StreamingFileSink是一个很重要的把流式数据写入文件系统的sink，可以支持写入行格式(json,csv等)的数据，以及列格式（orc、parquet）的数据。
hive作为一个广泛的数据存储，而ORC作为hive经过特殊优化的列式存储格式，在hive的存储格式中占有很重要的地位。今天我们主要讲一下使用StreamingFileSink将流式数据以ORC的格式写入文件系统，这个功能是flink 1.11版本开始支持的。

StreamingFileSink简介

StreamingFileSink提供了两个静态方法来构造相应的sink，forRowFormat用来构造写入行格式数据的sink，forBulkFormat方法用来构造写入列格式数据的sink，

我们看一下方法forBulkFormat。


	public static <IN> StreamingFileSink.DefaultBulkFormatBuilder<IN> forBulkFormat(
			final Path basePath, final BulkWriter.Factory<IN> writerFactory) {
   
   
		return new StreamingFileSink.DefaultBulkFormatBuilder<>(basePath, writerFactory, new DateTimeBucketAssigner<>());
	}

这里需要两个参数，第一个是一个写入的路径,第二个是一个用于创建writer的实现BulkWriter.Factory接口的工厂类。

写入orc工厂类

首先我们要引入相应的pom


<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-orc_2.11</artifactId>
  <version>1.11.0</version>
</dependency>

flink为我们提供了写入orc格式的工厂类OrcBulkWriterFactory，我们简单看下这个工厂类的一些变量。


@PublicEvolving
public class OrcBulkWriterFactory<T> implements BulkWriter.Factory<T> {

最低0.47元/天解锁文章