Flink学习笔记 --- Basic Concepts整理笔记

最新推荐文章于 2024-08-08 23:46:05 发布

杨鑫newlfe

最新推荐文章于 2024-08-08 23:46:05 发布

阅读量813

点赞数

CC 4.0 BY-SA版权

分类专栏： Functional Programming Scala 大数据挖掘与大数据应用案例

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/74002465

大数据挖掘与大数据应用案例同时被 3 个专栏收录

536 篇文章 ¥9.90 ¥99.00

订阅专栏

Scala

108 篇文章

订阅专栏

Functional Programming

17 篇文章

订阅专栏

本文详细介绍了如何编写Flink程序，从获取执行环境、加载数据、指定转换到设置结果输出，涵盖StreamExecutionEnvironment的获取、数据源加载、转换操作如map、reduce以及键的定义方法。此外，还讲解了Lambda函数和Rich函数的应用，以及Flink支持的数据类型，包括案例展示如何使用Case Class和POJO进行数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Anatomy of a Flink Program
Flink program programs look like regular program that transform
collection of data.
Each program consists of the same basic parts:
1.Obtain an execution environment.
2.Load/Create the initial data.
3.Specify transformations on this data.
4.Specify where to put the result of your computations
5.Trigger the program execution

==================================================================================================

1.The StreamExecutionEnvironment:
getExecutionEnvironment()
createLocalEnvironment()
createRemoteEnvironment(host: String, port: Int, jarFiles: String)

2.Load/Create source data
val env = StreamExecutionEnvir

了解本专栏