flink sink 到hdfs文件系统

原创 已于 2022-07-05 13:55:33 修改 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

于 2022-07-04 10:24:33 首次发布
本文介绍如何使用 Apache Flink 将实时数据流写入 HDFS，并通过 StreamingFileSink 进行详细配置，包括设置检查点、文件滚动策略及分区策略等。

flink将数据保存到hdfs中,官网支持–StreamingFileSink

public class StreamFileSinkDemo {
   
   
    public static void main(String[] args)throws Exception {
   
   
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<String> lines = env.socketTextStream("localhost", 8888);
        SingleOutputStreamOperator
最低0.47元/天 解锁文章
Flink sink HDFS的三个方法
JustinMars的博客
04-16 1949
package batch; import java.util.Properties; import java.util.concurrent.TimeUnit; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.serialization.SimpleStringEncoder; import org.apache.flink.core.fs.Path; import
【Flink】使用 Sink Flink落HDFS数据按事件时间分区解决方案
九师兄
07-03 1617
Hive离线数仓中为了查询分析方便，几乎所有表都会划分分区，最为常见的是按天分区，Flink通过以下配置把数据写入HDFS，//通过这样的方式来实现数据跨天分区 sink . setBucketer(new DateTimeBucketer < >("yyyy/MM/dd"));
FLINK 1.12.2 流式写入HDFS（hive）的几种方式
热门推荐
arwenlin的博客
05-21 1万+
Flink 1.12.2 写入hdfs有3种方式，依照api出现的先后依次介绍，重点介绍Flink SQL on Hive的方式。 目录 1 streaming file sink 2 FileSink 3 Flink SQL on Hive 3.1添加依赖 3.2 配置Hive Catalog及使用Flink终端访问Hive 3.3 代码调用Flink SQL写入Hive 4 总结 1 streaming file sink 1.7版Flink开始支持通过StreamingFileSi
flink实时写入hdfs之StreamingFileSink
qq_24124009的博客
01-30 4406
上篇文章中介绍过flink实时写入hdfs之BucketingSink，官网已经说明在BucketingSink已经因为弗林克1.9弃用，将在后续版本中被删除。请改用StreamingFileSink。
基于Flink CDC实现实时数据采集(四）-Sink接口实现
IT_xhf的专栏
08-02 1212
基于Flink CDC实现实时数据采集
Flink 自定义Sink 之 写入HDFS
magic_kid_2010的专栏
08-08 7760
一、pom.xml添加依赖。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-filesystem_${scala.binary.version}</artifactId> <version>${flink...
flink自定义Sink到HDFS
m0_58820420的博客
04-13 1468
public class HdfsSourceAndSink { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); // TODO 读取hdfs Da.
Flink StreamingFileSink写入hdfs，文件一直处于inprogress
weixin_44378305的博客
08-19 5992
文件一直处于inprogress归根结底就是checkpoint不成功。使用StreamingFileSink 时需要启用 Checkpoint ，每次做 Checkpoint 时写入完成后，桶中临时文件转成正式文件。如果 Checkpoint 被禁用，部分文件（part file）将永远处于 ‘in-progress’ 或 ‘pending’ 状态，下游系统无法安全地读取。...
flink sink 2 HDFS工具类
DogTips的博客
10-12 276
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-parquet_2.11</artifactId> <version>1.10.2</version> </dependency> <dependency> <groupId...
Flink数据，写入HDFS - 使用 StreamingFileSink
weixin_43947279的博客
11-24 1万+
一、应用场景： Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。 二、Streaming File Sink 由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd–HH)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。 1、Flink 提供了两个分桶策略，分桶策略实现了 org.apache.flink.streaming.api.functions.sink.filesystem.BucketAss
flink sink HDFS
m0_58820420的博客
04-13 810
此为官方提供的写入HDFS的方式
使用flink api把数据写到hdfs
wuchongyong的博客
05-16 1146
在上面的代码中，我们使用了一个简单的Map函数将Tuple2转换为String。然后，我们使用writeAsText将String写入HDFS。注意，我们需要指定要写入的HDFS路径和写入模式。最后，我们将并行度设置为1，以确保所有数据都被写入同一个文件。要使用Flink API将数据写入HDFS，可以使用Flink的Hadoop文件系统连接器。
flink消费kafka落地到hdfs
小屋
02-28 1195
flink消费kafka落地到hdfs 发现是hdfs的地址没写全，在跳板机上即使不写全也能读写，但flink落hdfs的时候必须写全了。
Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件
cullinans的博客
01-30 8268
问题描述： 任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。 解决过程： 开始是猜想可能是并行度过多，导致产生大量临时文件，文件句柄太多，关闭耗时导致文件一直无法完成合并？将并行度调整到1，发现问题并没有解决。 又猜想是因为调整了checkpoint参数，禁用掉che
【Flink实战系列】Flink使用StreamingFileSink写入HDFS（parquet格式snappy压缩）
JasonLee实时计算
06-13 5827
这篇文章主要介绍一下Flink使用StreamingFileSink写入HDFS怎么用snappy压缩，之前的文章介绍过了写入parquet格式的数据，当时也有星球里面的朋友问这种写法怎么压缩，我只是简单的回复了说可以用AvroParquetWriter,今天就来详细介绍一下具体怎么实现 我们首先来看一下AvroParquetWriter的源码 /** Create a new {@link AvroParquetWriter}. * * @param file a file path * @p
hdfs 创建文件夹_一段Flink连接Kafka输出到HDFS的代码
weixin_35374026的博客
12-27 270
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！一、配置项目的依赖其中flink-connector-filesystem_2.11是将Hadoop作为Flink的BucketingSink接入，hadoop-hdfs、hadoop-common、hadoop-client解决Jar包依赖的问题，2.7.3为hadoop的版本号。<dep...
flink连接“数据湖”hudi，并将数据存入hdfs
weixin_45408791的博客
09-02 1357
flink连接“数据湖”hudi，并将数据存入hdfs
Flink Oracle CDC写入到HDFS
IT_xhf的专栏
04-08 2703
依赖包 引用maven依赖包 <oracle.cdc.version>2.2.0</oracle.cdc.version> <hadoop.version>2.8.2</hadoop.version> <avro.version>1.8.2</avro.version> <dependency> <groupId>org.apache.flink</groupId>
Flink将数据写入到hdfs中
wudonglianga的专栏
12-27 9156
1. 场景 随机产生数据然后将产生的数据写入到hdfs 中。 2. 随机数据源 代码： package com.wudl.flink.hdfs.source; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple4; import org.apache.flink.streaming.api.functions.source.SourceFunction; import jav
flink 批处理sink到hdfs
最新发布
01-04
### Flink 批处理作业中设置 Sink 到 HDFS 的最佳实践 #### 配置批处理环境 为了在Flink中配置批处理并将其数据sink到HDFS，首先需要创建一个`ExecutionEnvironment`实例。对于批处理应用而言，通常会使用`getExecutionEnvironment()`方法获取默认的执行环境[^2]。 ```java ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); ``` 这里设置了并行度为1以便简化示例；实际部署时应根据集群资源调整此参数以优化性能。 #### 数据源读取 接着定义输入数据源。可以利用API中的各种方式加载本地文件系统或分布式存储上的静态数据集作为批处理任务的数据源： ```java DataSet<String> input = env.readTextFile("hdfs://namenode:8020/path/to/input"); ``` 上述代码片段展示了如何从指定路径下的HDFS位置读取文本文件的内容作为批量处理的数据流起点[^4]。 #### 使用 StreamingFileSink 进行高效写入 当涉及到向HDFS写出大量记录时，建议采用`StreamingFileSink`组件来完成这项工作。该类提供了良好的吞吐量以及可靠性保障机制，在多线程环境下表现尤为出色[^1]。 下面是一个具体的例子说明怎样通过编程接口构建这样的输出端点： ```java import org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink; import org.apache.flink.core.fs.Path; StreamingFileSink<String> sinkToHdfs = StreamingFileSink.forRowFormat( new Path("hdfs://namenode:8020/output/directory"), Encoder.simpleStringEncoder()) .withBucketAssigner(new BasePathBucketAssigner<>()) // 默认按时间分桶策略 .build(); input.writeAsText(sinkToHdfs.getPath().toString()); ``` 这段代码实现了将批处理的结果保存至给定的目标目录下，并且采用了简单的字符串编码器来进行序列化操作。同时指定了基于基本路径分配bucket的方式，默认情况下这将以小时级别的时间戳进行分区管理[^3]。 需要注意的是，虽然这里是针对批处理场景编写的案例，但是由于`StreamingFileSink`本身支持增量式的持续追加特性，因此同样适用于某些特定类型的准实时应用场景之中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值