4、Hadoop MapReduce与YARN：架构、应用与优势解析

Hadoop MapReduce与YARN：架构、应用与优势解析

1. Hadoop基础架构及不足

Hadoop是一个用于处理、生成和存储大型数据集的分布式系统。其核心组件HDFS和MapReduce各有特点，但也存在一些局限性。
- HDFS的弱点
- 高可用性不足 ：在Hadoop 1.x及更早版本中，HDFS缺乏高可用性。
- 小文件处理低效 ：处理大量小文件时效率较低。
- 缺乏透明压缩 ：不支持透明压缩。
- 不支持随机写入 ：仅支持追加写入，主要设计用于大文件的高吞吐量顺序读写。
- MapReduce的局限性
- 不适合实时数据访问 ：MapReduce是基于批处理的架构，不适合需要实时数据访问的用例。
- 不适合全局同步或可变数据共享任务 ：由于是无共享架构，对于需要全局同步或共享可变数据的任务不太适用。
- 版本兼容性问题
- MapReduce API运行时兼容性 ：Hadoop 2版本在MapReduce API运行时兼容性方面带来了一些问题，尤其是在 org.hadoop.mapreduce 包中。通常需要针对Hadoop 2重新编译代码，或者引入兼容性库来解决。
-