本文介绍了Hadoop项目的核心——HDFS和MapReduce，详细阐述了Hadoop的用途、特点和应用，包括离线分析、实时查询和BI分析。同时，讨论了Hadoop的架构，如HDFS的分布式文件系统、YARN的资源管理和调度，以及MapReduce、Spark、TeZ等计算分析工具。此外，还提及了Hadoop的优化方向，如HDFS的HA和Federation，以及YARN的引入。
一、Hadoop项目架构
Hadoop框架是用来解决数据离线批处理问题的框架，其中最核心的是HDFS和MapReduce，HDFS是架构在Hadoop之上的分布式文件系统，MapReduce是架构在Hadoop之上用来做计算的框架。
hadoop两个核心：HDFS和MapReduce
用途：解决分布式存储和分布式存储。
特点：高可靠性、高效性、可扩展性、成本低（普通PC机都能构建集群）
应用：Google、Facebook等，用于日志处理、批处理、离线处理
架构：离线分析：MR、Hive、Pig
实时查询：Hbase
BI分析：Mahout
分布式文件存储系统HDFS
底层数据源
Hadoop项目结构：
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
