Hadoop基础总结

目录

        一.Hadoop简介

        二.Hadoop特点

        三.Hadoop核心

一.Hadoop简介

        Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和储存。它的目的是从单一的服务器扩展到成千上万的机器，将集群部署在多台机器，每个机器提供本地计算和储存。Hadoop框架最核心的设计是HDFS和MapReduse

二.Hadoop特点

        > Hadoop是一个能够对大量数据进行分布式处理的软件框架

        > Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。

        > Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。

        > Hadoop 还是可伸缩的，Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，所以集群可以很容易进行节点的扩展，扩大集群。能够处理 PB 级数据。

        > 此外，Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。

三.Hadoop核心

       Hadoop Common Hadoop Common

                是一个公共基础设施，用于支撑其他项目，包括RPC、序列化包等。

       Hadoop HDFS

                可扩展、容错、高性能的分布式文件系统，异步复制，一次写入多次读取。

       Hadoop MapReduce

                分布式计算框架；主要包含map（映射）和reduce（规约）过程。