快速升级Hadoop和HBase的小脚本

最新推荐文章于 2024-05-14 19:45:28 发布

原创最新推荐文章于 2024-05-14 19:45:28 发布 · 139 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#HBase #Hadoop #脚本 #SSH #F#

Hadoop & HBase 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种快速在集群中部署Hadoop和HBase的方法。通过预先配置好主机并打包，然后利用脚本自动完成其他主机上的安装、解压、创建符号链接及设置执行权限等步骤。

比如我在host1上把hadoop和hbase配置什么的搞好，打成tar包，运行以下脚本，即可在cluster升级。

我的cluster中有host1，host2，host3，host4，host5，host6，host21，host24，host0，hostut。注意这些host之间用用户hbase都可免密码ssh访问。

hbase和hadoop都会被安装在/Development下

Hadoop=hadoop-0.20.2
HBase=hbase-tm-2#45
HostList=’2
3
4
5
6
21
24
0
ut’

for i in $HostList; do
echo sending archive to host$i…
scp $Hadoop.tar $HBase.tar hbase@host$i:/Development
done
for i in $HostList; do
echo host$i extracting and making symbolic link…
ssh hbase@host$i “cd /Development; rm hbase; rm hadoop;rm -rf $Hadoop;rm -rf $HBase; tar -xf $Hadoop.tar; tar -xf $HBase.tar; ln -s -f $HBase hbase; ln -s -f $Hadoop hadoop”

done

for i in $HostList; do
echo host$i ‘add excuting right on hbase/bin/* and hadoop/bin/*’
ssh hbase@host$i ‘cd /Development/hbase/bin; chmod +x *; cd /Development/hadoop/bin; chmod +x *’
done

脚本说明：

脚本的最上端是定义hadoop和hbase的版本

再下来是host列表

接着就是传送文件，解压，创建软连接，添加bin目录下的文件的执行权限