1.配置hosts文件
所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为ip
修改每个节点的hostname,方法如下:
编辑/etc/hostname,将里面的名称改为你想要命名的名字
2.建立专门的运行hadoop的用户
比如新增用户:grid,密码设为:123456
给用户grid赋予root权限:
编辑 /etc/sudoers文件,找到下面一行,在root下面添加一行,如下所示:
root ALL=(ALL) ALL
grid ALL=(ALL) ALL
3.配置ssh免密码登录
注意要以grid用户登录,在grid用户的主目录下进行操作!每个节点做相同的操作即可
按照此方法配置其他节点的ssh无密码登录
4.分发ssh公钥
把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中,然后覆盖原来的authorized_keys文件,然后就可以免密码彼此ssh连入了
5.下载Hadoop的安装包,并解压
下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz
开始配置Hadoop环境,如果没有配置java环境,先配置java环境
jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
配置教程:http://my.oschina.net/fhd/blog/335156
1.修改 hadoop-env.sh文件,在里面加入jdk的环境变量地址
export JAVA_HOME=/usr/local/java/jdk1.8.0_91
2.修改core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://h1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop-2.6.4/data/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/grid/hadoop-2.6.4/data/hdfslog</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/grid/hadoop-2.6.4/data/hdfsdata</value>
</property>
</configuration>
3.修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4.修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>h1:9001</value>
</property>
</configuration>
未完待续。。。