hadoop

---

title: Hadoop
abbrlink: b3349d42
categories:

• hadoop
  tags:
• hadoop

---

想看图片请去原网址搜索，之前写hexo博客没有添加图片库，都是本地，见谅！

1. 简介

1. Hadoop的思想之源：Google

• Openstack: NASA
• 面对的数据和计算难题
  -大量的网页怎么存储
  -搜索算法
• 带给我们的关键技术和思想
  -GFS
  -Map-Reduce
  -Bigtale

2. Hadoop包含的模块（Modules）

Hadoop项目网址

The project includes these modules:

• Hadoop Common: 支持其他Hadoop模块的常用实用程序。
• Hadoop Distributed File System (HDFS™): 一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
• Hadoop YARN: 作业调度和集群资源管理的框架。
• Hadoop MapReduce: 基于YARN的系统，用于并行处理大型数据集。
• Hadoop Ozone: Hadoop的对象存储。
• Hadoop Submarine: Hadoop的机器学习引擎。

3. Hadoop相关项目
   Apache的其他Hadoop相关项目包括:

• Ambari™：基于Web的工具，用于配置，管理和监控Apache Hadoop集群，包括对Hadoop HDFS，Hadoop MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop的支持。Ambari还提供了一个用于查看群集运行状况的仪表板，例如热图和能够直观地查看MapReduce，Pig和Hive应用程序以及以用户友好的方式诊断其性能特征的功能。
• Avro™：数据序列化系统。
• Cassandra™：可扩展的多主数据库，没有单点故障。
• Chukwa™：用于管理大型分布式系统的数据收集系统。
• HBase™：可扩展的分布式数据库，支持大型表的结构化数据存储。
• Hive™：一种数据仓库基础架构，提供数据汇总和即席查询。
• Mahout™：可扩展的机器学习和数据挖掘库。
• Pig™：用于并行计算的高级数据流语言和执行框架。
• Spark™：用于Hadoop数据的快速通用计算引擎。Spark提供了一种简单而富有表现力的编程模型，支持广泛的应用程序，包括ETL，机器学习，流处理和图形计算。
• Tez™：基于Hadoop YARN的通用数据流编程框架，它提供了一个功能强大且灵活的引擎来执行任意DAG任务，以处理批量和交互式用例的数据。Tez正在被Hadoop生态系统中的Hive™，Pig™和其他框架以及其他商业软件（例如ETL工具）采用，以取代Hadoop™MapReduce作为底层执行引擎。
• ZooKeeper™：用于分布式应用程序的高性能协调服务。