hadoop+hazelcast

配置过程：

序言：

本文档中所有例子均基于以下环境

安装环境：

Ubuntu8+jdk1.6.0_33+hadoop-1.0.3

实体机

机器名IP角色

ZTECloud000010.8.1.18namenode、master、jobTracker

ZTECloud000110.8.1.19dataNode、slave、taskTracker

ZTECloud000210.8.1.20dataNode、slave、taskTracker

1. 主机名配置

通过光盘启动后主机名为ZTECloud0000后面编号依次递增

1.1 修改主机名：(其中xxxxx为原来的主机名，newhostname为新主机名)

1) sudo -i

2) 输入密码：zteroot819

3) vi /etc/hosts将 127.0.1.1   xxxxx修改为 127.0.1.1  newhostname

4) vi /etc/hostname将文件内容改为newhostname

5) 运行命令hostname xxxx

6) su adt 会看到主机名已经修改

1.2 配置集群环境主机信息

1) sudo vi /etc/hosts

2) 输入密码：ateroot819

2)  将集群中的机器以ip  hostname每行一个的格式填写，形如：

127.0.0.1  localhost  ---本机原有信息

127.0.1.1       ZTECloud0000  ---本机主机名

10.8.1.18       ZTECloud0000  ---本机ip

10.8.1.19       ZTECloud0001  ---集群中slave1

10.8.1.20       ZTECloud0002  ---集群中 slave2

2. 网络配置

1.1 配置IP

1) sudo -i 后输入密码zteroot819 -----进入root用户

2) vi /etc/network/interfaces修改ip、netmask(掩码)、gateway(网关)信息

形如：

1.2 配置DNS

1.2.1 创建resolv.conf

1) touch /run/resolvconf/resolv.conf

2) cd /etc

3) ln -s /run/resolvconf/resolv.conf resolv.conf    

1.2.2 修改DNS

1) sudo vi /etc/resolv.conf

2) 改dns形如：

1.3 服务操作(修改配置后需重启服务)

/etc/init.d/networking -restart    -----修改网络信息后重启服务

附：/etc/init.d/networking -start  ----开启网络服务

    /etc/init.d/networking -stop  -----关闭网络服务

3. Hadoop配置

3.1 修改配置文件

3.1.1 sudo vi /usr/hadoop-1.0.3/conf/core-site.xml -------下面红色部分改为master ip

<configuration>

  <property>

         <name>fs.default.name</name>

         <value>hdfs://10.8.1.18:9000</value> ---xxxxxx表master ip

     </property>

</configuration>

3.1.2 sudo vi /usr/hadoop-1.0.3/conf/mapred-site.xml ------ 标注部分改为master ip

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>10.8.1.18:9001</value>

    </property>

</configuration>

3.1.3 sudo vi /usr/hadoop-1.0.3/conf/masters -------改为master的hostname

ZTECloud0000  

3.1.4 sudo vi /usr/hadoop-1.0.3/conf/slaves -----将集群中的每台机器的hostname每行    一个填写，形如：

ZTECloud0000

ZTECloud0001

ZTECloud0002

3.2 实现nameNode无密码登陆其他DataNode

4. Hazelcast配置

sudo vi /usr/hazelcast-2.1.2/bin/hazelcast.xml

<tcp-ip enabled="true">

    <interface>10.8.1.18</interface>

<interface>xx.xx.xx.xx</interface>

<interface>xx.xx.xx.xx</interface>

∶

∶

</tcp-ip>

5. 简单测试

配置后请做以下测试，如测试未通过请仔细查看配置文件的信息

5.1 hadoop测试

在master上输入jps

会看到以下内容

5.2  hazelcast测试

任意一台集群机上运行./run.sh后，输入who会看到hazelcast.xml tcp-ip中配置的所有<interface>ip信息