本文介绍了大数据处理中两种核心计算方式：离线计算与实时计算。离线计算包括数据的批量获取、传输及计算，并利用HDFS、MapReduce等技术实现。而实时计算则强调数据的实时获取、计算与展示，涉及Flume、Kafka、Storm等技术。这些技术为数据处理提供了高效解决方案。
离线计算: 批量获取数据、批量传输数据、周期性批量计算数据、数据展示
代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度
实时计算，强调的是实时,数据实时计算、结果实时展示
流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。 一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果，用来支持决策。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
