一、什么是Flink
Flink开源的分布式,高可用,高性能的框架和分布式处理引擎,支持流数据处理和批处理
二、为什么要使用Flink(特点)
高可用
批处理和流处理
高吞吐和低延迟
结果的准确性和良好的容错性
能够快速真实反映出生活
总的来说就是能够适应当下的发展
三、Flink中的重要角色
jobmanager:用于协调分布式执行,负责资源申请,任务分发,任务调度执行等
taskmanager:负责执行任务
四、Flink的三种模式
Local本地模式:少用
Standalone独立模式:资源管理由flink集群管理
Flink on Yarn:企业使用最多,资源管理由Yarn来管理
五、安装本地模式
1.下载
提取码: qcqf
2.上传至linux系统并解压
解压Flink到当前目录
3.启动Flink
查看进程
web端访问:
4.停止Flink
六、测试-使用Flink内置jar程序统计一个文件中每个单词出现的次数
计算:
输出路径应不存在,否则会报错
如果出现错误The main method caused an error: java.util.concurrent.ExecutionException: java.lang.RuntimeException: org.apache.flink.runtime.client.JobInitializationException: Could not start the JobMaster,就重新启动Flink