Flink--实时计算

文章探讨了数据与业务的互动过程,区分了实时计算与离线计算,并介绍了Storm、SparkStreaming和Flink等主流实时框架,强调了它们的特点和优缺点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、数据和业务的关系

        在日常的生活中,用户在使用系统的时候会产生数据,此时产生的数据又会又会推动系统的决策,做出的决策又会去影响用户,形成一个闭环的链。

2、在大数据中,根据处理的时间分成实时计算、离线计算

        实时计算:是一种低延迟,持续,事件触发的计算任务,数据实时处理,结果实时保存

        离线计算:是一种批量,高延迟,主动发起的计算任务,数据延迟处理,结果是N+1的模式

在flink是事件触发,所谓的事件触发指的是数据来一条就会处理一条数据,延时低,但是spark不能事件触发的原因是与底层的框架有关是mapreduce模型的,导致spark不能做实时任务。

3、在大数据中,根据处理方式分成流式处理、批量处理

        流式处理:数据是无穷的,一次处理一条数据或者一批数据,状态很小

        批量处理:数据是有限的,可以处理大量的数据,并且数据处理完就可以返回结果

4、当前主流的实时的框架
        1、storm:

                是Twitter开源的分布式实时大数据处理框架

                优点:

                        框架比较简单,学习的成本比较低

                   

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值