通过Flink将数据以压缩的格式写入HDFS

最新推荐文章于 2024-01-18 02:11:11 发布

原创

最新推荐文章于 2024-01-18 02:11:11 发布 · 5.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#压缩

本文介绍如何在Flink中通过自定义方式，利用gz压缩格式将处理后的数据写入HDFS。虽然Flink内置API不直接支持压缩写入，但通过特定代码实现，可以成功将数据以.gz格式存储。

在Flink中我们可以很容易的使用内置的API来读取HDFS上的压缩文件，内置支持的压缩格式包括.deflate，.gz, .gzip，.bz2以及.xz等。

但是如果我们想使用Flink内置sink API将数据以压缩的格式写入到HDFS上，好像并没有找到有API直接支持（如果不是这样的，欢迎留言纠正）。本文将介绍如何将数据以gz压缩格式将处理后的数据写入到HDFS上。主要实现代码如下：

import org.apache.hadoop.fs.Path

import org.apache.hadoop.io.SequenceFile.CompressionType

import org.apache.hadoop.io.{Text, LongWritable}

import org.apache.hadoop.mapred.{FileOutputFormat, JobConf, TextOutputFormat, TextInputFormat}

imoprt org.apache.flink.api.scala.hadoop.mapred.HadoopOutputFormat

val benv = ExecutionEnvironment.getExecutionEnviron

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

JavaGod

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Flink实战系列】Flink使用StreamingFileSink写入HDFS（parquet格式snappy压缩）

JasonLee实时计算

06-13

5828

这篇文章主要介绍一下Flink使用StreamingFileSink写入HDFS怎么用snappy压缩，之前的文章介绍过了写入parquet格式的数据，当时也有星球里面的朋友问这种写法怎么压缩，我只是简单的回复了说可以用AvroParquetWriter,今天就来详细介绍一下具体怎么实现我们首先来看一下AvroParquetWriter的源码 /** Create a new {@link AvroParquetWriter}. * * @param file a file path * @p

【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

JasonLee实时计算

10-04

1902

这里使用的是 bulk encoding 格式，这个方法有两个参数，第一个表示的是数据存储的路径，第二个表示的是数据的存储逻辑。这个消费 Kafka 用的是 KafkaSource 也是实现了新的接口 Source，在反序列的时候还是用的我们自定义的通用反序列化类 PoJoDeserializationSchema 直接把 JSON 格式的数据转成 JasonLeePOJO 对象。提交任务这里就省略了，我们直接在 hive 创建个表，然后把 HDFS 上的数据加载进来，看看能否正常读取出来。

2 条评论您还未登录，请先登录后发表或查看评论

2 条评论

YueBanWa 2020.01.02
如何添加依赖啊

wujianqinjian 2019.01.25
>_ | _<

将flink输出到hdfs的数据压缩成gzip格式

08-14

2666

将flink输出到hdfs的数据压缩成gzip格式 CompressionOutputStreamWrapper.class import org.apache.hadoop.io.compress.CompressionOutputStream; import java.io.Serializable; public class CompressionOutputStreamWrapper ...

Flink 同步Kafka数据,压缩并存储到HDFS

tom_fans的博客

08-21

2733

此文章只是做一个记录，获取数据同步到HDFS比较简单，官网有完整的代码，主要是如下： DataStream<Tuple2<IntWritable,Text>> input = ...; BucketingSink<Tuple2<IntWritable,Text>> sink = new BucketingSink<Tuple2<In...

flink写入hdfs orc格式文件

weixin_47681367的博客

10-19

2577

flink写入hdfs orc格式文件；flink 写orc版本和hdfs集群版本不兼容问题处理

【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）

JasonLee实时计算

10-05

1860

我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。

Flink将数据写入到hdfs中

wudonglianga的专栏

12-27

9163

1. 场景随机产生数据然后将产生的数据写入到hdfs 中。 2. 随机数据源代码： package com.wudl.flink.hdfs.source; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple4; import org.apache.flink.streaming.api.functions.source.SourceFunction; import jav

Flink 如何读取 kafka 数据后以 gzip 压缩格式写入hdfs？

yuchuanchen的专栏

10-25

2110

Flink官方提供了 StreamingFileSink 用来写行或者列式数据到 hdfs，官方提供了 Row-encoded 和 Bulk-encoded 的例子，并分别以 String 类型和 parquet 类型提供了示例。 https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/streamfil...

flink以gz格式写入hdfs

qq_44962429的博客

05-21

1343

在flink的官方文档中，有读取gz文件的API，但是没有写入hdfs以gz格式写入的API，如果我们存储的数据量比较大，严重的占用我们的存储空间怎么办？博主在这里分享一下本人的做法。注意：博主的hdfs文件生成依赖于flink的checkpoint，如果在程序中不配置flink的checkpoint，该功能时无法实现的。 package com.push.redis; import org.apache.flink.api.common.serialization.BulkWriter; import

使用spark streaming使用snappy压缩保存数据到HDFS中

Demon的博客

05-06

2152

工作中需要将从Kafka中的数据保存到HDFS中去，并且需要使用snappy压缩话不多说，直接上代码 /** * 自定义多目录写与追加写,采用snappy压缩 * @author demon * @version 2019/05/05 */ class AppendTextOutputFormat extends TextOutputFormat[Any, Any] { ...

Flink写入HDFS（文本，parquet，parquet+snappy）

xiaozhaoshigedasb的博客

08-20

4322

flink版本：1.10.0 code: // 构建env环境 val env = StreamExecutionEnvironment.getExecutionEnvironment env.enableCheckpointing(1000*60) //1000*60 s一个checkpoint env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE) env.setSt

Flink读取kafka数据并以parquet格式写入HDFS

咖啡的博客

09-26

4961

大数据业务场景中，经常有一种场景：外部数据发送到kafka中，flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，比如写入hdfs中；目前基于spark进行计算比较主流，需要读取hdfs上的数据，可以通过读取parquet：spark.read.parquet(path) 以下代码完成消费kafka数据，并以parquet格式写入hdfs...

flink批处理读lzo压缩文件

weixin_41228362的博客

04-21

1511

1.概述因为flink框架读压缩文件支持的格式如下，没有LZO压缩格式，所以需要在源码的基础上做一点添加。这里只是提供一下思路，具体的代码细节还需要自己去敲。 2. 具体实现首先，flink内部读压缩文件，以文件后缀名为key，以压缩类型工厂对象为value组成的Map来保存不同的压缩文件对应着不同的解压工厂对象的映射关系。通过上图可以看到FileInputFormat这个类会将所有的支持的解压缩工厂对象初始化到一个Map中，后续处理压缩文件时，可以直接根据压缩文件的.

Flink应用实时数据压缩与解压

最新发布

AI天才研究院

01-18

1468

1.背景介绍在大数据时代，实时数据处理和分析已经成为企业和组织中不可或缺的技术。Apache Flink是一种流处理框架，它可以实时处理大量数据，并提供高吞吐量和低延迟。在大数据处理中，数据压缩和解压是非常重要的一部分，因为它可以减少存储和传输开销，提高系统性能。本文将讨论Flink如何应用实时数据压缩和解压，以及相关的核心概念、算法原理和实例代码。 2.核心概念与联系在Flink中，数...

Flink消费Kafka数据，写入HDFS - 使用 StreamingFileSink

magic_kid_2010的专栏

07-16

1万+

一、应用场景： Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。二、Streaming File Sink 由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd--HH)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。 1、Flink 提供了两个分桶策略，分桶策略实现了 o...

Flink接收kafka数据根据event time存储到相应目录文件并以parquet文件格式存储到HDFS

qyb1008的博客

05-27

1702

Flink接收kafka数据根据event time存储到相应目录文件并以parquet文件格式存储到HDFS需求描述系统环境概述基于BucketingSink在2.7版本以下的HDFS上实现实现思路根据event time存储到相应目录需求描述消费kafka的消息，根据数据的时间时间，将数据分小时的存入到HDFS中，如果利用textfile进行存储，将消耗大量的存储空间，并且查询也较慢，需要压缩成为parquet格式，减少空间，加快后序的处理速度。数据格式:事件时间戳\t日志数据系统环境 kafk

Flink DataSet 常用几种读取文件方式--Scala

天道酬勤的博客

11-22

4500

1、环境 jdk 1.8.0_108 Scala 2.11.8 Flink 1.7.2 MySql 8.0.13 2、Maven依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11&lt...

Flink sql实现topN聚合结果写入kafka （Flink 1.11.0版本）

qq_31866793的博客

08-04

5037

先跟鸡哥打个广告，博客地址:https://me.youkuaiyun.com/weixin_47482194 写的博客很有水平的，上了几次官网推荐了。步入正题，在大家接触Flink SQL的时候，肯定绕不过kafka，在写入kafka的时候，不晓得大家有没有遇到问题？如下： Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTableSinkrequiresthatTable...

FLINK 1.12.2 流式写入HDFS（hive）的几种方式