3、Hadoop：大数据处理的强大工具

Hadoop：大数据处理的强大工具

1. Hadoop简介

Hadoop成为分布式计算的主要标准，原因主要有两点：一是它具备管理分布式节点和集群的能力与工具；二是它由Apache基金会提供，是免费的。Hadoop主要由MapReduce和Hadoop分布式文件系统（HDFS）两部分组成。与之相关的项目有：
- Ambari：基于Web的工具，用于配置、管理和监控Apache Hadoop集群，支持HDFS、Hadoop MapReduce、Hive等。
- Avro：数据序列化系统。
- Cassandra：可扩展的多主数据库，无单点故障，性能卓越。
- Chukwa：用于管理大型分布式系统的数据收集系统。
- HBase：可扩展的分布式数据库，支持大型表的结构化数据存储。
- Hive：数据仓库基础设施，提供数据汇总和即席查询功能。
- Mahout：可扩展的机器学习和数据挖掘库。
- Pig：用于并行计算的高级数据流语言和执行框架。
- ZooKeeper：用于分布式应用的高性能协调服务。

Hadoop的优势众多：
- 可实现数据和计算的分布式处理。
- 任务相互独立。
- 能更轻松地处理部分节点故障，节点可重启。
- 避免因故障导致的崩溃恐慌，容忍同步分布式系统。
- 可使用假设实现绕过“落后者”。
- 编程模型简单，终端用户程序员只需编写MapReduce任务。
- 系统具有相对平稳的可扩展性，添加更多子系统能带来实际改进。

Hadoop名称的普及源于Doug Cutting将儿子玩具大象的名字赋予他创建的应用。它