xsync集群分发脚本

集群分发脚本xsync 需求分析:循环复制文件到所有节点的相同目录下。 (1)原始拷贝: rsync  -rvl     /opt/module    root@hadoop103:/opt/ (2)期望脚本: xsync 要同步的文件名称 (3)在/usr/local/bin这个目录下存放的脚本,可以在系统任何地方直接执行,需要制定路径。   案例实操: (1)在/usr/local/bin目录下创建x... 阅读详情

xsync集群分发脚本

(1)需求:循环复制文件到所有节点的相同目录下

(2)需求分析:

   (a)rsync命令原始拷贝:

rsync  -av     /opt/module        root@hadoop103:/opt/

   (b)期望脚本:

   xsync要同步的文件名称

   (c)说明:在用户家目录/bin这个目录下存放的脚本,用户可以在系统任何地方直接执行。

(3)脚本实现

   (a)在用户家目录下创建bin文件夹

 mkdir bin

   (b)在/home/mars/bin目录下创建xsync文件,以便全局调用

 cd /home/atguigu/bin

 vim xsync

在该文件中编写如下代码

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

  echo Not Enough Arguement!

  exit;

fi

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104

do

  echo ====================  $host  ====================

  #3. 遍历所有目录,挨个发送

  for file in $@

  do

    #4 判断文件是否存在

    if [ -e $file ]

    then

      #5. 获取父目录

      pdir=$(cd -P $(dirname $file); pwd)

      #6. 获取当前文件的名称

      fname=$(basename $file)

      ssh $host "mkdir -p $pdir"

      rsync -av $pdir/$fname $host:$pdir

    else

      echo $file does not exists!

    fi

  done

done

(c)修改脚本 xsync 具有执行权限

 chmod +x xsync

       (d)测试脚本

 xsync xsync

 

Linux 工具脚本:xsync集群分发脚本 Linux 工具脚本:xsync集群分发脚本xsync集群分发脚本1.首先所有节点都安装rsync2.创建xsync集群分发脚本复制代码路径最后,修改权限 xsync集群分发脚本 1.首先所有节点都安装rsync yum install rsync -y 2.创建xsync集群分发脚本 touch xsync vim xsync 复制代码路径 复制代码路径:https://blog.cs... 阅读详情

相关推荐

xsync集群分发脚本开发指南

【代码】xsync集群分发脚本开发指南。

xiaoyu070321的博客 411

编写集群分发脚本xsync

目录 1.scp(secure copy)安全拷贝2 .rsync远程同步工具3. xsync集群分发脚本 (1)需求:循环复制文件到所有节点的相同目录下 (2)需求分析:(a)rsync命令原始拷贝:rsync -av /opt/module student@hadoop103:/opt/(b)期望脚本:xsync要同步的文件名称(c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)[student@hadoop102 ~]$ echo $PATH/usr

qq_52674050的博客 2485

专有钉钉小程序(浙政钉)开发搭建流程总览

最近公司有一个项目要做浙政钉,让我来负责做。靠,我一脸懵,开发了两年多不知道浙政钉是啥,感觉我眼界还是低了。然后就去百度、同事问了一圈才知道就是个钉钉小程序嘛,然后发布到浙政钉上了。就搭建项目跑起来我都肥了很多事,中间走了很多坑。正好领导让我写《钉钉小程序前端开发流程》,这想着也写个博客吧。下面就是整个流程及我所遇到的坑!

m0_53910290的博客 6356

集群分发脚本xysnc

是一个用于在不同计算机之间安全地复制文件和目录的命令行工具。它使用 SSH 协议进行连接和文件传输,提供了加密和身份验证机制,确保数据传输的安全性。`rsync` 是一个功能强大的文件复制和同步工具,可以在本地和远程之间进行文件同步。与 `scp` 不同,`rsync` 可以根据文件的差异进行增量复制,只传输发生变化的部分,从而提高效率和节省带宽。

qq_62928039的博客 611

旋转变压器软件解码simulink仿真

旋转变压器软件解码simulink仿真、电机转速位置测量

qq_31446727的博客 2583

从零开始:手把手教你设计DP接口电路(含原理图实战)

本文是一份详尽的DisplayPort接口电路设计实战指南。文章从DP接口的核心架构与HDMI的差异讲起,手把手解析了高速差分对、AUX辅助通道、热插拔检测等关键模块的原理图设计要点,并提供了一个完整的DP Source端原理图实例,最后总结了PCB布局与信号完整性的核心考量,旨在帮助硬件工程师高效、稳定地完成DP接口电路设计。

transformer2023的博客 737

03-xsync集群分发脚本(普通用户)

​ 当我们在集群中一台机器上配置好服务以后,不想重复的在集群中的其他机器重复配置是,可以循环复制文件到所有节点的相同目录下。

clear-ninghongkang的博客 394

中国高精度年度平均气温栅格数据集(1901-2024)

本文基于中国月度平均气温栅格数据集,计算生成1901-2024年1km分辨率的年度平均气温数据集,并按中国省市行政区划进行裁剪。该数据集融合CRU全球数据和WorldClim高分辨率数据,经496个站点验证,具有高时空精度和长时间序列特点,覆盖全国(含港澳台)逾百年气温记录,为气候变化研究、生态水文分析及农业生产评估等提供重要数据支撑。数据格式为Tif,单位为0.1℃,可获取全国、各省及各市三个尺度的气温栅格数据。

PPdata_Academy的博客 1244

Linux集群分发脚本xsync

Linux集群分发脚本xsync1.scp(secure copy)安全拷贝2.rsync 远程同步工具3.xsync集群分发脚本4.免密登陆 1.scp(secure copy)安全拷贝 1)scp定义: scp可以实现服务器与服务器之间的数据拷贝(from server1 to server2) 2)基本语法 scp -r $pdir/$fname ...

PassionZheng的博客 1万+

查看电脑mac地址+主机名+用户名并导出

张三:李四,应公司要求,今天下班前必须将这张表格里面用户电脑的mac地址统计出来!李四:我该怎么办呢?一个一个查看,太没有效率了吧!对了,我可以做一个bat脚本啊!

拥抱着青春 1975

基于matlab的轴承损伤分析动力学建模仿真

高质量的轴承在正确的使用下,可以使用很长一段时间,如果过早的出现损伤,很可能是因为选型错误,使用不当或润滑不良造成的。因此,在安装轴承时,我们需要记录机器种类,安装部位,使用条件及周围配合。通过研究总结轴承损伤的类型,发生问题时的使用环境,以避免类似情况再次发生。轴承损伤方式按下述图片分类,我们可以图片中显示的主要特征来判断轴承损伤形式。01、压痕碰伤卡入固体异物或冲击造成的表面凹坑及安装是的擦伤◆固体异物侵入◆在倾斜状态下安装◆安装不良造成的撞击,脱落◆卡入剥离片◆改善安装、使用方法。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 2667

配置xsync集群分发脚本出现的小问题

前几天在配置xsync集群分发脚本时,将循环复制文件到所有节点的相同目录下。 正确的脚本文件为: #!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname ...

weixin_44349574的博客 1186

stable-diffusion-webui的逐步部署教程

本文主要介绍了stable-diffusion-webui的逐步部署教程,希望能对使用Stable Diffusion的同学们有所帮助。 文章目录 1. 前言 2. 逐步部署教程 2.1 创建Python环境 2.2 安装依赖库 2.3 运行代码

weixin_43178406的博客 6万+

集群分发脚本xsync的编写与介绍

Hadoop--入门编写集群分发脚本xsync1.rcp命令2.scp命令3.rsync 远程同步工具4.xsync集群分发脚本1.创建文件2.编写代码3.修改脚本 xsync 具有执行权限4.调用脚本形式:xsync 文件名称 编写集群分发脚本xsync 在配置完全分布式的时候我们需要将主结点的配置文件分发到多台从结点上,使用xsync脚本就不用照着主节点一个个去改从结点的配置文件,比较省时省力...

klionl的博客 1840

【国密】基于SM2的协同签名与协同解密方案

两方协同签名指客户端与服务端协同完成签名、验签操作,具体实现方案参考了信工所专利[3]。在业务应用中,两方或多方的协同签名一般采用门限签名方案可以用来构造。门限密码算法在多方协作的相关场景中应用十分广泛,可以实现数据联合授权、认证、密钥安全恢复、密钥安全交换等需求,在诸多分布式多方计算协议中均可见其身影。在上述两方协同签名方案中,最巧妙的地方在于签名值s分量的构造,通过一些列数学变换,得以恢复。以下从两方协同签名方案介绍入手,介绍门限密码在协同签名中的应用。解决上述问题的关键在于门限密码算法的巧妙构造。

听雨草堂 8392

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

编写xsync集群分发脚本(保姆级别)

分布式文件同步工具配置指南 本文介绍了如何配置xsync工具实现多节点文件同步:1)安装rsync并创建xsync脚本;2)修改脚本中的主机列表为实际集群IP;3)添加执行权限并测试同步功能;4)可选配置全局环境变量和SSH免密登录,其中包含生成密钥对和分发公钥到各节点的详细步骤。通过这套方案,用户可以实现高效的无密码跨节点文件同步,特别适合Hadoop等分布式环境使用。文末提供了相关Linux权限管理和Vim操作的参考链接。

LMS2022223000的博客 792

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

xsync集群分发脚本的改良

集群分发脚本xsync带多参数1.0 增强了一下带参个数 xsync 1.0 #!/bin/bash #校验参数 pcount=$# if (($pcount==0)) then exit fi #获取用户名 user=`whoami` #获取文件名,路径 for((i=1;i<=$#;i++)) #对多个传参进行分析 do b=${!i} #这里用到了 “间接变量”语法 fname=`basename $b` dname=`dirname $b` dir=`cd $dname;pwd`

lizhipeng_xx的博客 424

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

基于Centos7的集群分发脚本xsync

目录 0. 相关文章链接 1. scp(secure copy)安全拷贝 2.rsync远程同步工具 2.1. 基本语法 2.2. 实例操作 3. xsync集群分发脚本 0. 相关文章链接 大数据基础知识点 文章汇总 1. scp(secure copy)安全拷贝 1)scp定义: scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) 2)基本语法: scp -r ...

yang_shibiao的博客 1534

Linux 集群分发脚本 xsync

1、scp(secure copy)安全拷贝 1.1、定义 scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) 1.2、基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称 1.3、案例实操 在hadoop102上,将hadoop101中/opt/module目录下

prefect_start的博客 1315

Hadoop开发环境配置与搭建--集群分发脚本xsync学习

​ xsync是一个用于多台服务器或虚拟机之间快速同步文件/目录的Shell脚本工具,其底层通过调用Linux系统自带的 rsync 命令实现高效传输。

2201_75628870的博客 1378

四、Hadoop 运行模式--编写集群分发脚本xsync

rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更。scp 可以实现服务器与服务器之间的数据拷贝。具有速度快、避免复制相同内容和支持符号链接的优点。(c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)注意:如果用了 sudo,那么 xsync 一定要给它的路径补全。(1)需求:循环复制文件到所有节点的相同目录下。(e)同步环境变量配置(root 所有者)个别缺钱的公司用来测试,生产环境不用。scp 是把所有文件都复制过去。

weixin_44340038的博客 1652
上一篇: pandas练习题
下一篇: NTP服务器时间同步设置
AA赵师傅
博客等级 码龄9年 89粉丝 124原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值