本文介绍了两种主要的大数据处理技术：非实时处理技术包括HDFS、MapReduce和Hive，适用于大规模数据集的批处理；实时处理技术如HBase、Kafka和Storm，用于流数据的实时分析。HDFS提供流式文件读取，MapReduce简化复杂逻辑处理，YARN作为资源管理和调度框架。HBase用于非结构化数据存储，Hive则作为基于Hadoop的数据仓库工具。
俩类技术：
非实时：HDFS、MapReduce、Hive
实时：HBase、KafKa、Storm
HDFS：实现流式读取文件系统的目的
MapReduce：对负责逻辑进行高度归约，抽象为Mapper和Reducer类，复杂逻辑通过理解，转化为符合MapReduce函数助理的模式。
YARN：新的资源管理和应用调度框架，云操作系统（cloud OS）
HBase：非关系型数据库，适合于非结构化数据存储，它的存储模式基于列
Hive：Apache基金会下面的开源框架，基于Hadoop的数据仓库工具
扫一扫
7468
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
