1 Hadoop简介
Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。
2Hadoop源码下载
由于hadoop是开源平台代码和源程序可以自由下载,官网提供两种源码,一种是源代码主要是未编译的源代码,可以进行源码学习,自行编译等, 如hadoop2.6的源代码下载地址:(http://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5-src.tar.gz)。另一种是编译好的二进制程序,二进制程序可以直接放在系统上使用。如hadoop2.6的二进制程序下载地(http://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz)。
3安装hadoop平台环境
1)创建hadoop用户,创建hadoop用户的命令为useradd,此命令需要有root用户权限(要知道root用户的密码,或者使用su命令进行权限切换)。
groupadd hadoop
useradd hadoop -g hadoop
2)安装SSH、配置SSH无密码登陆,由于hadoop是分布式平台,所以需要各主机无密码登陆。
3)安装Java环境,这个参考Java安装教程即可,注意配置环境变量。
4)安装 Hadoop 2.6,目前使用的版本为Hadoop2.6,下载地址如2节所示。
5)Hadoop配置文件配置,配置文件的配置参考这个(http://blog.youkuaiyun.com/yangjl38/article/details/7583374)。