三搭建 flink 开发环境(idea)

最新推荐文章于 2025-11-12 07:45:00 发布

原创

最新推荐文章于 2025-11-12 07:45:00 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

本文详细介绍了如何在IntelliJ IDEA中创建一个Maven项目，并配置Flink开发环境，包括添加依赖、编写WordCount示例代码、运行环境设置、源流生成、计算、Sink操作，以及如何在Flink集群上提交和运行JAR包。

文章目录

1 在 idea 中添加依赖
- 1.1 在创建目录时添加
2 编写代码
3 jar在flink上运行

1 在 idea 中添加依赖

1.1 在创建目录时添加

使用 Intellij IDEA 创建一个 Maven 新项目
勾选 Create from archetype，然后点击 Add Archetype 按钮
GroupId 中输入 org.apache.flink， ArtifactId 中输入 flink-quickstart-scala，Version 中输入 1.10.0，然后点击 OK
点击向右箭头，出现下拉列表，选中 flink-quickstart-scala:1.10.0，点击 Next
Name 中输入 FlinkTutorial， GroupId 中输入 com.atguigu， ArtifactId 中输入FlinkTutorial，点击 Next
最好使用 IDEA 默认的 Maven 工具Bundled（Maven 3），点击 Finish，等待一会儿，项目就创建好了

2 编写代码

如下编写 wordcount 代码:

package test1

import org.apache.flink.streaming.api.scala._

object WordCountFromBatch {
   
   
  def main(args: Array[String]): Unit = {
   
   
    // 获取运行时环境，类似SparkContext
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    // 并行任务的数量设置为1
    // 全局并行度
    env.setParallelism(1)

    val stream = env
      .fromElement