【Linux】文件互传scp/rsync/xsync分发脚本

最新推荐文章于 2023-11-06 10:07:38 发布

原创

最新推荐文章于 2023-11-06 10:07:38 发布 · 634 阅读

4 ·

CC 4.0 BY-SA版权

blog.youkuaiyun.com/hancoder 可以打赏后索要离线md文件，打赏码在谷粒笔记的文尾。博主目前就职于阿里云，有需要可内推

文章标签：

#linux #hadoop #big data

本文介绍在集群环境中如何通过scp、rsync及自定义脚本xsync实现高效文件同步。scp适用于安全拷贝文件，rsync则更适用于快速同步，特别在处理大量文件时优势明显。xsync脚本实现了自动化文件分发。

一般性的文件使用MobaXterm软件直接拖拽即可，而服务器没有界面等问题可以采用命令的方式传输
本文的内容是在集群中比较常用，由其是集群同步

\1. scp(secure copy)安全拷贝

scp，linux命令，可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

语法：把本服务器的文件传到其他服务器中

scp   -r  源文件  目标文件   

scp -r $pdir/$fname   $user@hadoop$host:$pdir/$fname
scp -r /opt/module root@hadoop102:/opt/module

注意：
如果涉及到软连接ln，scp会进行拷贝真正的文件，而不是软连接。会很耗时且占用内存
解决软连接的问题是先打包文件再进行scp。
tar zcvf  test.tar.gz  test  # 打包test文件夹
tar zxvf test.tar.gz # 解压
# 为什么压缩包可以解决软连接的问题：
# 个人的想法是软连接建立时如果是按相对路径建立的ln -s test/1.txt 2，那么压缩解压后仍能保持相对路径
# 如果ln -s软连接时写的是绝对路径ln -s /home/ouc/test/1.txt 2，那么压缩拷贝到别处/etc后解压，点击解压后的2，打开的还是home下的 。 这个问题个人验证过了
# 所以说，我们用打包解决scp的软连接问题是可以的，因为github程序的软连接一般都是相对路径
少数情况下，如果ln软连接的是内核之类的或者是集群环境，可以考虑使用rsync -l
# 个人推测rsync拷贝完也是按照建立路径的规则查找的