flink实战--flink读取hdfs目录下多个文件（递归、正则匹配）

最新推荐文章于 2023-11-23 13:54:17 发布
最新推荐文章于 2023-11-23 13:54:17 发布
阅读量7.7k 收藏 11
点赞数 2
分类专栏： Flink学习必读系列 文章标签： 大数据 flink hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/aA518189/article/details/106427051
版权
本文介绍了Flink如何实现递归和正则表达式读取HDFS目录下的文件。针对读取需求，包括递归读取多路径文件及按条件（正则表达式）筛选文件。通过配置参数启用递归读取，以及使用Flink自带的FileInputFormat结合自定义过滤器，或者利用Hadoop API和自定义DataSet输入实现正则匹配。文章提供了具体案例、代码示例及解决报错的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

                  在日常开发中读取hdfs文件是很频繁的操作，并且在这个过程中我们可能会有如下需求：

  1.   读取某个目录下的所有的文件，也就是递归读取hdfs的目录
  2.   按条件读取hdfs，也就是正则表达式读取目录下的文件

                看到这些需求，我们可能想到spark都支持的不错，Flink支持的怎么样呢？本篇文章详细介绍一下Flink如何实现，递归，正则表达式等方式读取hdfs的目录。

Flink递归读取hdfs上多路径文件

               比如，读取如下面所示data目录下日期命名的文件夹，如果直接使用env.readTextFile("//127.0.0.1:90

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink实战（108）：connector（十七）hdfs 读写（二）写
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 701
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1. 依赖HDFS pom.xml 添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
paimon实战 --核心原理和Flink应用进阶
最新发布
阿华田的博客
05-15 940
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
Flink DataStream API （三）Flink 读取 HDFS
weixin_45417821的博客
04-13 4930
由于 Flink 没有提供 hadoop 相关依赖，需要 pom 中添加相关依赖： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</version> </dependency> <dependency> &lt
flink读取hdfs上多路径的文件
u011250186的博客
03-05 2636
flink上多路径的文件支持似乎不太友好，目前没有找到更好的办法。 在spark下可以使用的读取hdfs多路径的方式为： /root/data/20170101/ /root/data/20170102/ /root/data/20170103/ … /root/data/20170201/ /root/data/20170202/ … 比如读取二月份的所有数据可以使用如下 spark可以使用...
Flink实战(六）Flink读取Hdfs文件
热门推荐
wuhulala的休息室
10-11 2万+
接一下以一个示例配置来介绍一下如何以Flink连接HDFS 1. 依赖HDFS pom.xml 添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-hadoop-compatibility_2.11</artifactId> &...
十五、Flink读取本地或hdfs文件
猫猫爱吃小鱼粮
08-12 1847
Flink读取本地或hdfs文件
java实现flink读取HDFS下多目录文件的例子
03-14
以下是一个Java实现Flink读取HDFS下多目录文件的例子： ``` import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java....
flink readFile方法按时间范围递归读取文件工具
DogTips的博客
09-30 758
import org.apache.flink.api.common.io.FilePathFilter; import org.apache.flink.api.java.io.TextInputFormat; import org.apache.flink.configuration.Configuration; import org.apache.flink.core.fs.Path; import java.text.ParseException; import java.text.SimpleDa
Flink 读取hdfs数据和hbase数据对比
Baron_ND的博客
09-11 1210
摘要： 小数据量就没必要使用这些比较重的插件或者开源框架，反而拖慢速度。直接读取hdfs反而会快些的，然后就是使用过滤的时候，hbase本身的escan是比数据读取后在flink层面做过滤要快的。 1000W数据量在HBASE和hdfs上的对比，在flink per-job的模式下如下：在yarn session上会快一些，是因为有些数据第二次跑的时候会缓存。 一、flink读取Hbase主要过滤的部分 val FAMILY = Bytes.toBytes("info") // hbas..
Flink递归读取目录下文件
weixin_42764556的博客
12-07 1922
val parameters = new Configuration // recursive.file.enumeration 开启递归获取目录下所有文件 parameters.setBoolean("recursive.file.enumeration", true)
Spark、Flink读取HDFS文件
linshow的专栏
02-03 2090
要读取文件的HDFS路径信息如下图 Spark读取HDFS文件代码示例如下 package demo import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object _00wcHDFS { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf conf.setMaster("
flink读取文件夹下所有文件
qq_31286957的博客
09-20 577
【代码】flink读取文件夹下所有文件。
Flink运行wordcount——读写hdfs
雷神乐乐的博客
11-23 976
Flink运行wordcount——读写hdfs
Flink读取HDFS上的Parquet文件生成DataSet
打酱油的葫芦娃
03-27 7476
首先打开Flink的官方网站，查看一下DataSet已支持的数据源。 File-based readTextFile(path) / TextInputFormat - Reads files line wise and returns them as Strings. readTextFileWithValue(path) / TextValueInputFormat - Reads fi...
Flink1.4 HDFS Connector
SmartSi
03-05 3129
原文来源于：Flink1.4 HDFS Connector此连接器提供一个 Sink，将分区文件写入 Hadoop FileSystem 支持的任何文件系统。要使用此连接器，添加以下依赖项：&lt;dependency&gt; &lt;groupId&gt;org.apache.flink&lt;/groupId&gt; &lt;artifactId&gt;flink-connector-...
Flink读写数据（hdfs）（DataSet）
a6822342的博客
09-21 1万+
读数据DataSet<String> hdfslines=env.readTextFile("your hdfs path")写数据hdfslines.writeAsText("your hdfs path")以上会根据你的默认的线程数来生成多少个分区文件，如果你想最后生成一个文件的话，可以在后面使用setParallelism(1)，这样最后就只会生成一个文件了。
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)
向热爱自己一样，热爱这个世界。
10-17 5739
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)
Flink1.14.3 Table API读取HDFS
大数据研习社
04-21 2576
1 需求 需求：Flink Table API从HDFS分布式文件系统读取JSON⽂件。 2 添加Maven依赖 Flink使⽤JSON和HDFS引⼊如下依赖： #引入json格式依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-json</artifactId> <version>${flink.version}<...
Flink正则匹配读取HDFS上多文件的例子
03-14
可以回答这个问题。以下是一个Flink正则匹配读取HDFS上多文件的例子： ``` val env = StreamExecutionEnvironment.getExecutionEnvironment val pattern = "/path/to/files/*.txt" val stream = env.readTextFile(pattern) ``` 这个例子中，我们使用了 Flink 的 `readTextFile` 方法来读取 HDFS 上的多个文件，其中 `pattern` 参数使用了正则表达式来匹配文件名。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值