集群安装,是在一台机子上,用本机ubuntu12.04当作master,启动两台虚拟机ubuntu12.04作为slave001和slave002,虚拟机使用KVM(KVM在ubuntu上的表现是集中虚拟机产品中比较好的)。
master:192.168.1.10
slave001:192.168.1.246
slave002:192.168.1.249
首先在主机上设置桥接上网,设置过程为:
主机上sudo gedit /etc/network/interfaces,修改文件设置网桥//前提是你的eth0在edit connection中已经设置好,不要在interfaces文件中去设置eth0,会出问题的。文件内容如下:
auto lo
iface lo inet loopback
# The primary network interface
auto br0
iface br0 inet static
address 192.168.1.10
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports eth0
bridge_stp off
bridge_fd s
bridge_maxwait s
此时,将虚拟机的联网方式NIC选择桥接bridge Device model用Hypervisor default,这里的 bridge name填写主机上设置的网桥名,这里设置的为br0-----------这里的网桥名称要与主机上设置的一样。
可以测试联网了,若是不能联网,请在你的/etc/resolv.conf文件中手动设置
nameserver 8.8.8.8
nameserver 8.8.8.4
nameserver 202.113.16.10
注:/etc/resolv.conf设置之后立即生效不用重启,测试一下是否可以联网了,如果可以了,就是这里的问题,如果不能,也不用担心,机子重启后,该文件会被清空。那么可以联网之后,你会问,那重启不还是会清空文件么?确实是的,那么确定了问题之后我们可以设置该修改永久有效,方法为:sudo gedit /etc/resolvconf/resolv.conf.d/base该文件初始为空,只要将你在/etc/resolv.conf中设置的内容粘贴到这里就可以了,即,内容为:
nameserver 8.8.8.8
nameserver 8.8.8.4
nameserver 202.113.16.10
之后需要重启服务:sudo /etc/init.d/resolvconf restart,永久有效开机不会丢失。
第二步,修改主机名称,命令:hostname,显示本机主机名称,若主机名称与想设置的master不一致,进行修改,修改命令:sudo gedit /etc/hostname,将文件改为:master
之后修改/etc/hosts文件,将
127.0.0.1 localhost
192.168.1.10 master
192.168.1.246 slave001
192.168.1.249 slave002
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
将如下信息确保在系统中的所有机子上都有
192.168.1.10 master
192.168.1.246 slave001
192.168.1.249 slave002
之后的安装方法详见博客:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html
注意:以上博客中需要注意的是:1、ssh无密码登录是要求所有机子之间的全链接关系都能够ssh无密码登录。不单单是主机能够ssh无密码登录两台slave就可以了。
2、hadoop配置文件和自己配的单机伪分布式时的配置文件一模一样不用修改,详见我的博客:http://blog.youkuaiyun.com/xin15200793067/article/details/11796199,因为上面博客中的配置是有些问题的,清千万注意。
3、第三个最需要注意的地方是防火墙问题,以为将ufw和iptables全部用sudo apt-get remove删除掉就可以了,但是,卸载掉iptables之后,虚拟机就连不上了,显示Verify that You are member of the 'libvirtd' group,按照网上提示的安装上相应的缺失包之后,检查发现,iptables被作为相关的软件重新安装上了,由此可知,KVM需要iptables作支撑,不能删除他,所以查看了防火墙工作机制,发现了自己的错误,ufw是在iptables之上的简单的防火墙管理软件,不论从什么角度来说,卸载掉防火墙都是不可取的,也不是一个专业人员应该的做事原则,完全可以通过管理防火墙来实现软件的正常运转,而不是投机取巧的把它们卸掉。之后我又安装上了ufw和iptables,应用如下命令:sudo ufw disable防火墙成功关闭,再去启动dfs不再会出现无法链接master:9000端口的问题。
防火墙相关命令见博客:http://blog.sina.com.cn/s/blog_8f3de3250100xy1u.html
安装成功之后。可以实现hadoop1.2.1连接eclipse,其中的eclipse用的还是我的博客http://blog.youkuaiyun.com/xin15200793067/article/details/11796199中提到的版本,该版本实现链接很方便。
hadoop1.2.1连接eclipse的插件,可以直接从网上下载,下载地址为:http://download.youkuaiyun.com/detail/hanyongan300/6238153
我自己测试过,该插件可以直接用省去了自己费心编译的麻烦。具体连接方法见博客:http://blog.youkuaiyun.com/matraxa/article/details/7182382
hadoop1.2.1连接eclipse的插件,可以直接从网上下载,下载地址为:http://download.youkuaiyun.com/detail/hanyongan300/6238153
可以直接用。连接方法见博客:http://blog.youkuaiyun.com/matraxa/article/details/7182382