Hadoop1.x,Hadoop2.x,Hadoop3.x这三个版本区别

Hadoop 1.x、2.x 和 3.x 是 Apache Hadoop 的三个主要版本迭代，它们在架构、性能、资源管理和功能支持上有显著差异。以下是它们的核心区别：

---

1. Hadoop 1.x（早期版本）

核心架构

• 单点故障（SPOF）：仅支持 单 NameNode，一旦故障，整个集群不可用。
• 资源管理：使用 JobTracker 和 TaskTracker 机制：
  • JobTracker：负责资源管理和作业调度（高负载瓶颈）。
  • TaskTracker：执行具体的 Map/Reduce 任务。

主要局限

1. 扩展性差：集群规模受限（通常不超过 4,000 节点）。
2. 仅支持 MapReduce：计算框架单一，无法运行其他计算模型（如 Spark、Flink）。
3. 资源利用率低：静态分配资源，无法共享。

---

2. Hadoop 2.x（重大升级）

核心改进

• 引入 YARN（Yet Another Resource Negotiator）：

  • 将资源管理和作业调度分离，取代 JobTracker/TaskTracker。
  • ResourceManager：全局资源管理。
  • NodeManager：单个节点的资源管理。
  • ApplicationMaster：每个应用（如 MapReduce、Spark）专属的任务调度器。

• 高可用（HA）：

  • 支持 双 NameNode（Active/Standby），避免单点故障。
  • 通过 ZooKeeper 实现自动故障转移。

• 支持多计算框架：

  • 除 MapReduce 外，可运行 Spark、Tez、Flink 等。

优势

1. 更高的扩展性：支持 10,000+ 节点。
2. 资源利用率提升：动态资源共享，多任务并行。
3. 生态兼容性：为大数据生态（如 Hive、HBase）提供统一资源管理。

---

3. Hadoop 3.x（最新版本）

核心改进

• EC（Erasure Coding）纠删码：

  • 替代 3 副本机制，存储开销从 200% 降低至 50%（如 RAID-6 策略）。
  • 适合冷数据存储，但计算密集型场景仍需副本。

• 多 NameNode 支持：

  • 允许 多个 NameNode 协同工作（进一步扩展元数据管理能力）。

• 资源类型扩展：

  • 支持 GPU、FPGA 等异构资源调度。

• 性能优化：

  • MapReduce 任务本地化优化。
  • 默认端口更改（避免冲突）。

• 兼容性增强：

  • 支持 Java 11（Hadoop 2.x 仅支持 Java 8）。
  • 支持 Docker 容器化部署。

其他特性

• Timeline Service v2：改进任务历史记录服务。
• Shell 脚本重构：修复旧版本脚本的兼容性问题。

---

版本对比总结

特性	Hadoop 1.x	Hadoop 2.x	Hadoop 3.x
架构	单 NameNode + JobTracker	YARN + 双 NameNode（HA）	多 NameNode + YARN
资源管理	静态分配	动态共享（YARN）	支持异构资源（GPU/FPGA）
存储机制	3 副本	3 副本	纠删码（EC） + 副本
扩展性	≤4,000 节点	≥10,000 节点	更高（多 NameNode 支持）
计算框架	仅 MapReduce	MapReduce/Spark/Flink 等	更多框架支持（优化兼容性）
Java 支持	Java 6/7	Java 7/8	Java 8/11
主要用途	已淘汰	企业主流（稳定版）	新项目推荐（性能优化）

---

如何选择版本？

1. 学习/旧系统维护：Hadoop 2.x（文档丰富，生态兼容性好）。
2. 生产环境：Hadoop 3.x（纠删码节省存储，支持新特性）。
3. 淘汰版本：Hadoop 1.x（仅用于历史研究）。

---

注意事项

• 升级风险：Hadoop 3.x 的 Java 11 支持和端口变更可能导致兼容性问题。
• 生态工具：Hive、HBase 等需匹配 Hadoop 版本（如 HBase 2.x+ 需 Hadoop 3.x）。

如果需要具体版本的详细变更，可以参考 Apache Hadoop 官方文档。