xsync

shell  小工具,用于集群搭建:

xsync脚本基于rsync工具,rsync 远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点,它只是拷贝文件不同的部分,因而减少了网络负担。
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
常用参数:
-r, –recursive 对子目录以递归模式处理
-R, –relative 使用相对路径信息
-l, –links 保留软链结
-v, –verbose 详细模式输出,传输过程可见

在/usr/local/bin 目录下创建 xsync 文件,向里面添加:

 

#!/bin/bash
# $#:表示传递给脚本或函数的参数个数。
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
#for((host=3; host<7; host++)); do
#echo $pdir/$fname $user@192.168.25.143$host:$pdir
# echo --------------- 192.168.25.14$host ----------------
# rsync -rvl $pdir/$fname $user@192.168.25.14$host:$pdir
#done

#5 循环
for host in  192.168.25.143 192.168.25.144 192.168.25.145 192.168.25.146  ; do
#echo $pdir/$fname $user@$host:$pdir
echo --------------- $host ----------------
rsync -rvl $pdir/$fname $user@$host:$pdir
done

 

转载于:https://www.cnblogs.com/lshan/p/10666679.html

### 使用 `xsync` 工具在 Hadoop 集群中实现文件同步 #### 文件同步的前提条件 为了能够在 Hadoop 集群中使用 `xsync` 实现文件同步,需要满足以下几个前提条件: - 所有节点之间能够通过 SSH 无密码登录[^1]。 - 节点上的配置文件路径一致,例如 `/opt/module/hadoop-3.2.2/etc/hadoop/`。 --- #### 同步所有节点的配置文件 假设目标是将 Hadoop 配置文件从某个主节点(如 hadoop102)同步到其他节点,则可以按照以下方式操作: 1. **确保 `xsync` 脚本具有可执行权限** 如果尚未赋予 `xsync` 脚本执行权限,可以通过以下命令完成: ```bash chmod +x xsync ``` 此处的操作依据来自修改脚本权限的相关说明[^2]。 2. **运行 `xsync` 命令进行同步** 在 hadoop102 上运行如下命令来同步 Hadoop 配置文件至所有节点: ```bash ./xsync /opt/module/hadoop-3.2.2/etc/hadoop/ ``` 这一命令会利用内部逻辑调用 `rsync` 或类似的工具,在整个集群范围内分发指定目录下的文件。 --- #### 替代方案:手动使用 `scp` 或 `rsync` 如果无法直接依赖 `xsync`,或者希望了解其底层原理,可以选择更基础的方式完成文件同步。以下是两种替代方法: 1. **使用 `scp` 复制单个文件或目录** 若仅需从某一台机器复制文件到另一台机器,可以直接使用 `scp` 命令。例如,从 hadoop102 将 Hadoop 配置文件夹复制到 hadoop103: ```bash scp -r atguigu@hadoop102:/opt/module/hadoop-3.2.2/etc/hadoop/ /opt/module/hadoop-3.2.2/etc/ ``` 注意此过程可能需要输入密码,除非已设置免密登录[^3]。 2. **使用 `rsync` 提高效率** 对于大规模数据传输场景,推荐使用 `rsync` 来代替 `scp`。它具备增量同步功能,能显著减少重复传输的时间开销。例如: ```bash rsync -avz --progress /opt/module/hadoop-3.2.2/etc/hadoop/ atguigu@hadoop103:/opt/module/hadoop-3.2.2/etc/ ``` 根据描述,`rsync` 不仅支持远程同步,还优化了已有数据的处理流程[^4]。 --- ### 总结 无论是借助内置的 `xsync` 工具还是采用传统的 `scp` 和 `rsync` 方法,都可以高效地完成 Hadoop 集群中的文件同步任务。具体选择取决于实际需求以及环境的支持情况。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值