大数据超哥的博客

1 前言在讲述Hadoop集群搭建之前，首先要了解Hadoop和集群两个名词，Hadoop是由Apache基金会开发的分布式系统基础架构，简单理解就是大数据技术应用的基础。集群可以理解为多台装有hadoop的服务器。搭建Hadoop集群的目的就是为了管理多台服务器，使多台服务器之间能够协调工作。本文选择了3台阿里云服务器。从下图中可以对整个大数据架构有了大体的了解。Hadoop主要有HDFS（分布式文件存储系统）、Yarn（集群资源管理与调度）和MapReduce（分布式计算框架）组成。Hadoop集

1 阿里云服务器选配首先附上官网链接：阿里云官网点击上边链接，注册后登陆官网，选择产品选项，然后选择云服务器ECS，就进入云服务器ECS购买界面。进入云服务ECS购买界面，点击立即购买，在界面中分为一键购买和自定义购买，如何对配置没有概念，感觉太麻烦，推荐使用一键购买。本文以一键购买为例，主要是从以下几个方面进行选购：地域及可用性实例规格镜像网络类型（公网带宽）购买数量（购买时长）地域及可用性：选择离自己比较近的地域，如我在上海，选择华东2（上海），搭建hadoop集群的时候，购买