hadoop学习记录

本文详细介绍了SCP(安全拷贝)、RSYNC(远程同步)和XSNC(集群分发脚本)三种常用的数据传输工具。SCP用于安全地在不同服务器间复制文件;RSYNC则更适用于备份和镜像,它通过只更新差异文件来提高效率;XSNC则是针对集群环境的高效文件分发解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、(scp)完全拷贝命令

scp  -r $pdir/$fname  $user@$host:$pdir/$fname
命令 递归     要拷贝的文件路径/名称目的地用户@主机:目的地路径/名称

1.复制资源到另一台服务器 

[atguigu@hadoop102 module]$ scp -r jdk1.8.0_212/ atguigu@hadoop103:/opt/module/

2.拉取服务器资源到本地服务器

[atguigu@hadoop104 module]$ scp -r atguigu@hadoop102:/opt/module/hadoop-3.1.3 ./

3.站在服务器1的位置 从服务器2的位置 复制资源 到服务器3的位置

[atguigu@hadoop102 module]$ scp -r atguigu@hadoop103:/opt/module/* atguigu@hadoop104:/opt/module/

二、(rsync)远程同步工具

         rsync 主要用于备份和镜像。速度快、避免复制相同内容和支持符号链接的优点。

         rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更新。scp 是把所有文件都复制过去。 

rsync -av$pdir/$fname  $user@$host:$pdir/$fname
命令 选项参数     要拷贝的文件路径/名称目的地用户@主机:目的地路径/名称

选项参数说明
选项功能
-a归档拷贝
-v显示复制过程

三、(xsync)集群分发脚本

        1.场景:循环复制文件到所有节点的相同目录

        2.分析:

                期望预期:xsync 要同步的文件名称

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值