
集群管理
azhao_dn
关注hadoop 数据挖掘
展开
-
linux问题零碎记录
1)ssh问题:ssh_exchange_identification: Connection closed by remote host,这个问题通常也会影响scp命令的正确执行 解决办法:编辑/etc/hosts.allow文件,在文件中添加上想要允许的ip地址 sshd: 11.61.25.88原创 2011-11-14 10:55:16 · 968 阅读 · 0 评论 -
pdsh、ClusterSSH和mussh集群管理软件
原文地址:http://bbs.chinaunix.net/thread-2002080-1-1.html当我们管理数以十计或者更多的集群系统时,往往需要在每台机器上执行同样的命令,或者拷贝同样的文件,这时,我们就可以考虑使用三个小工具,分别是pdsh、ClusterSSH和mussh。 在Fedora系统上,我们可以直接通过yum安装这三个软件。yum install cluste转载 2011-11-10 10:28:07 · 5577 阅读 · 0 评论 -
配置vm虚拟机的端口转发
此配置方法适用于工作机A 配置CRT访问工作机B上安装vm linux虚拟机服务。 1)安装vm虚拟机,配置该虚拟机的网络方式为NAT 2)打开vm软件的虚拟网络配置: 3)打开后选择NAT选项框:将红色框标记的信息记录下来,待修改linux服务器配置时使用;点击蓝色框标记的按钮 4)将Port Forwarding选项框选中原创 2012-04-19 15:59:46 · 14795 阅读 · 0 评论 -
hadoop运维之jobtracker无故停止服务
今天下午同事在使用hive提交查询时,抛出执行错误: 于是打开jobtracker的管理页面,发现正在运行的job数目为零,tasktracker心跳正常,这一异常现象让我觉得jobtracker可能是停止服务了(一般很少出现集群的运行job数为零的情况),于是手动提交了一个mapred任务进行测试,运行错误信息如下:12/07/03 18:07:22 INFO hdfs原创 2012-07-03 18:48:22 · 5623 阅读 · 1 评论