前期看了许多大数据的资料,现在开始搭建hadoop平台。
主要完成在vbox中实现两个节点的分布式环境搭建(三个节点怕本儿带不起来)。
1、添加两个虚拟机,其中一个作为master节点,另外一个作为node1.
2、创建hadoop用户和用户组
3、安装SSH,配置/etc/hostname 和 /etc/hosts
4、配置免密码登陆
5、安装JDK及环境配置
6、下载hadoop 2.7.1,并安装
7、配置文件:
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
8、启动hadoop,并运行wordcount例程。
结果展示: