hadoop的安装部署、 common模块 、HDFS模块、Yarn模块 、MapReduce模块

 

JDK安装

https://blog.youkuaiyun.com/simple_start/article/details/94218246

hadoop的安装部署

安装方式：伪分布式，让进程跑在一台机器上，只是他们的端口不一样

文档：

http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html

 

1. 使用rz命令上传

hadoop-2.7.3.tar.gz

2、解压

tar -zxvf hadoop-2.7.3.tar.gz -C ../modules/

3、Hadoop目录结构

 

删除一些无用文件和目录：

rm -rf bin/*.cmd

rm -rf sbin/*.cmd

rm -rf share/doc/

4、修改环境变量

*-env.sh:hadoop-env.sh、yarn-env.sh、mapred-env.sh

 

5、common模块

core-site.xml