基于Flink的用户行为实时数据分析,安装本地模式

本文介绍了Flink这一高性能分布式处理框架的基本概念、特点及其应用场景。包括Flink的主要组件如JobManager和TaskManager的作用,不同部署模式的区别,并详细指导如何进行本地安装及运行示例程序。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Flink开源的分布式,高可用,高性能的框架和分布式处理引擎,支持流数据处理和批处理

二、为什么要使用Flink(特点)

高可用

批处理和流处理

高吞吐和低延迟

结果的准确性和良好的容错性

能够快速真实反映出生活

总的来说就是能够适应当下的发展

三、Flink中的重要角色

jobmanager:用于协调分布式执行,负责资源申请,任务分发,任务调度执行等

taskmanager:负责执行任务

 四、Flink的三种模式

Local本地模式:少用

Standalone独立模式:资源管理由flink集群管理

Flink on Yarn:企业使用最多,资源管理由Yarn来管理

五、安装本地模式

1.下载

官网下载

提供的网盘下载

提取码: qcqf

2.上传至linux系统并解压

 解压Flink到当前目录

查看进程

 web端访问:

六、测试-使用Flink内置jar程序统计一个文件中每个单词出现的次数

计算:

输出路径应不存在,否则会报错

如果出现错误The main method caused an error: java.util.concurrent.ExecutionException: java.lang.RuntimeException: org.apache.flink.runtime.client.JobInitializationException: Could not start the JobMaster,就重新启动Flink

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值