Flink学习安装部署、任务提交

原创

已于 2024-01-15 19:41:25 修改 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

于 2020-07-09 16:51:54 首次发布

本文介绍Apache Flink的流式和批处理Wordcount示例，涵盖Flink的基本架构、安装部署流程及在Yarn上的两种运行模式：Session-Cluster与Per-Job-Cluster，提供详细配置步骤与提交任务的命令。

文章目录

快速入门

流式Wordcount

package com.belle

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment

object _1StreamWordCount {
   
   

  def main(args: Array[String]): Unit = {
   
   
    // 1.初始化流计算环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    // 修改并行度
    env.setParallelism(1)
    // 2.导入隐式转换
    import org.apache.flink.streaming.api.scala._
    // 3.读取数据
    val lines = env.socketTextStream("127.0.0.1", 9999)
    // 4.转换和处理数据
    val res = lines.flatMap(_.split(" ")