Hadoop 集群批处理脚本

最新推荐文章于 2024-08-11 15:03:09 发布

FresherHe

最新推荐文章于 2024-08-11 15:03:09 发布

阅读量544

点赞数

CC 4.0 BY-SA版权

分类专栏： CentOS Hadoop 文章标签： Linux Hadoop 脚本

本文链接：https://blog.youkuaiyun.com/FresherHe/article/details/87876808

Hadoop 同时被 2 个专栏收录

7 篇文章

订阅专栏

CentOS

5 篇文章

订阅专栏

本文介绍两个实用的Shell脚本：xcall.sh用于在多台节点上执行同一命令，简化集群管理；xrsync.sh实现文件或文件夹在多个节点间同步，确保数据一致性。适用于需要批量操作或维护多台服务器的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

xcall.sh

功能：在多台节点上执行相同的命令

使用方法：xcall.sh 命令

代码：

#!/bin/bash

#各节点执行命令 s101 - s104

params=$@ #需要执行的命令
host=101
for (( host=101 ; host <= 104 ; host=$host+1  )) ;
do  echo ======== s$host ========;
    ssh s$host $params ;
done

xrsync.sh

前提：机器上安装了 rsync

功能：将当前目录下的文件，拷贝到各个节点的相同目录下

使用方法：xrsync.sh xxx文件/xxx文件夹

代码：

#!/bin/bash

#将指定文件/文件夹同步到子节点相同目录下 s102 - s104

param=$1 #需要被同步的文件或文件夹
parentdir=`dirname $param` #父级文件夹
basename=`basename $param` #需要被同步的具体文件名
cd $parentdir
fulldir=`pwd -P .`
user=`whoami`
for (( host=102 ; host <= 104 ; host=$host+1  )) ;
do  echo ======== s$host ========;
    rsync -lr $param $user@s$host:$fulldir ;
done