本地idea开发flink程序并本地运行读取HDFS文件

最新推荐文章于 2025-11-02 21:53:14 发布

原创最新推荐文章于 2025-11-02 21:53:14 发布 · 7.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flink hdfs

flink 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何在Apache Flink项目中配置HDFS依赖，确保Flink集群能正确读取HDFS上的文件。通过在Maven中添加指定版本的Hadoop依赖，实现Flink与HDFS的有效整合。

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.5</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.5</version>
        </dependency>

1、需要在MAVEN中添加以上依赖。因为只添加的flink依赖不包含HDFS的文件读写，再提交到Flink集群的时候能够读到HDFS的文件，使用为在Flink集群和HDFS整合之后会自动找到HDFS的依赖包。这个选项在flink-conf.yaml中的 fs.hdfs.hadoopconf: $HADOOP_HOME/etc/hadoop