Centos Linux 安装单机 Hadoop(HDFS)
视频教程链接:https://www.bilibili.com/video/BV1we4y1z7VT/
1. Hadoop 简介
Hadoop 是一个开源的分布式计算和存储框架,是 Apache 基金会开发的,包含3个核心组件:
-
HDFS:全称是 Hadoop Distributed File System,即 Hadoop 分布式文件系统。可以将将大文件、大批量文件分块存储到大量服务器组成的集群上。
-
MapReduce:分布式运算框架,可以基于它编写 MapReduce 应用程序,对大规模数据集(大于1TB)进行并行运算;
-
Yarn:分布式资源调度管理器,可以运行 MapReduce 应用程序。