批量添加hadoop节点，初始化hadoop机器

最新推荐文章于 2024-05-26 20:22:02 发布

KingBoxing

最新推荐文章于 2024-05-26 20:22:02 发布

阅读量901

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/aaa1117a8w5s6d/article/details/43483399

hadoop 专栏收录该内容

36 篇文章

订阅专栏

本文提供了一系列用于Hadoop集群部署的Shell脚本，包括分发必要文件、生成SSH密钥、配置系统环境等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

全部内容如下：

authorized_keys<span style="white-space:pre">		</span>-- CDH主节点的key
hosts<span style="white-space:pre">			</span>-- 所有机器的hosts配置
init_hadoop.sh<span style="white-space:pre">		</span>-- 分发其他文件到各个节点
init_hdp.sh<span style="white-space:pre">		</span><span style="font-family: Arial, Helvetica, sans-serif;">-- </span><span style="font-family: Arial, Helvetica, sans-serif;">为hadoop用户生成key</span>
init_root.sh<span style="white-space:pre">		</span>-- 初始化系统变量
jdk-7u65-linux-x64.rpm<span style="white-space:pre">	</span>-- Java环境
send_hosts.sh<span style="white-space:pre">		</span>-- 分发hosts文件，这里主要是分发之前已经安装好的节点

init_hadoop.sh

for arg in $* ; do
    ping -c 1 $arg  || continue
     scp -o StrictHostKeyChecking=no -r ./jdk-7u65-linux-x64.rpm  $arg:/tmp
     scp -o StrictHostKeyChecking=no -r ./authorized_keys  $arg:/tmp
     scp -o StrictHostKeyChecking=no -r ./init_root.sh  $arg:/tmp
     scp -o StrictHostKeyChecking=no -r ./init_hdp.sh  $arg:/tmp
     scp -o StrictHostKeyChecking=no -r ./hosts  $arg:/tmp
     ssh -o StrictHostKeyChecking=no -t $arg "sudo -i"
done

init_hdp.sh

cd ~
ssh-keygen
cp /tmp/authorized_keys /home/hadoop/.ssh/
chmod 755 ~/.ssh
chmod 644 /home/hadoop/.ssh/authorized_keys

init_root.sh

cp -R /tmp/hosts /etc/
rpm -ivh /tmp/jdk-7u65-linux-x64.rpm
echo 'JAVA_HOME=/usr/java/default' >> /etc/profile
service ntpd start
sysctl vm.swappiness=0
echo 'vm.swappiness=0' >> /etc/sysctl.conf
useradd hadoop
su hadoop

现在跳转机上执行init_hadoop.sh把各个文件分发下去，然后sudo -i 可以把当前连接转到对应机器上。

然后cd /tmp/

sh init_root.sh

sh init_hdp.sh