实时分析、离线线分析、流式计算的区别

最新推荐文章于 2024-09-10 17:33:52 发布

weixin_34364071

最新推荐文章于 2024-09-10 17:33:52 发布

阅读量2.9k

点赞数

CC 4.0 BY-SA版权

文章标签：数据库大数据 python

原文链接：https://my.oschina.net/u/2604795/blog/1924133

本文介绍了大数据处理中两种核心计算方式：离线计算与实时计算。离线计算包括数据的批量获取、传输及计算，并利用HDFS、MapReduce等技术实现。而实时计算则强调数据的实时获取、计算与展示，涉及Flume、Kafka、Storm等技术。这些技术为数据处理提供了高效解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

离线计算: 批量获取数据、批量传输数据、周期性批量计算数据、数据展示

代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度

实时计算，强调的是实时,数据实时计算、结果实时展示

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果，用来支持决策。

转载于:https://my.oschina.net/u/2604795/blog/1924133