docker 简单搭建hadoop环境

使用 docker简单搭建 hadoop开发环境，用于学习

 

1、拉取 hadoop镜像

这里使用 sequenceiq/hadoop-docker:2.7.1

docker pull sequenceiq/hadoop-docker:2.7.1

 

 

2、开启容器

docker run --name=my-hadoop -it -p 50070:50070 -p 8088:8088 -p 50075:50075 -p 9000:9000 sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash --privileged=true

开启容器后会直接进入hadoop容器

 

3、运行示例

进入 /usr/local/hadoop-2.7.1 目录

cd /usr/local/hadoop-2.7.1

运行示例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'

 

运行完成

 

查看输出结果

bin/hdfs dfs -cat output/*

 

4、yarn任务监控 web页面

笔者这里宿主机器 ip 是 192.168.0.118

yarn任务监控 web页面地址是：http://192.168.0.118:8088

 

5、namenode web页面

地址：http://192.168.0.118:50070

 

6、datanode web页面

地址：http://192.168.0.118:50075

 

至此完