7.18练习

1.本地文件同步

[root@y ~]# mkdir susu

[root@y ~]# mkdir susu/k{1..3}

[root@y ~]# touch susu/k1/hh{0..3}

[root@y ~]# tree susu/

[root@y ~]# rsync -av susu/ /opt/  //将susu目录下的文件同步到opt下

[root@y ~]# rsync -av susu /opt/  //将susu该目录连同目录下的文件都同步到opt下

[root@y ~]# tree /opt/

[root@y ~]# rsync -av  susu/k1/ susu/k2  //将susu/k1/下的同步到susu/k2/下

文件的删除(--delete)也会同步

[root@y ~]# rm -rf susu/k1/hh0

[root@y ~]# rsync -av --delete susu/k1/ susu/k2

文件的属性也会同步

[root@y ~]# chmod g+w susu/k1/hh1

[root@y ~]# rsync -av --delete susu/k1/ susu/k2

文件的修改也会同步

[root@y ~]# vim susu/k1/hh1

[root@y ~]# rsync -av --delete susu/k1/ susu/k2

  1. 远程同步

[root@y ~]# rsync -av susu/ root@192.168.2.12:/tmp/

在x主机里面创建一个100M的文件

[root@x ~]# dd if=/dev/zero of=/tmp/suiban bs=100M count=1

在远程主机上拉取文件

[root@y ~]# rsync -av root@192.168.2.12:/tmp/suiban /tmp/

  1. rsync作为系统服务

[root@y ~]# systemctl stop firewalld

[root@y ~]# setenforce 0

[root@y ~]# systemctl start rsyncd  //启动服务

[root@y ~]# mkdir -p /jcc/xiaoyuanweb/cj/yw/oo.xiaoyuanweb/

[root@y ~]# touch /jcc/xiaoyuanweb/cj/yw/oo.xiaoyuanweb/file{0..5}.yw

[root@y ~]# cd /jcc/xiaoyuanweb/

[root@y xiaoyuanweb]# vim /etc/rsyncd.conf

[root@y xiaoyuanweb]# systemctl restart rsyncd

以上操作在y主机提供了一个针对/jcc/下的项目rsync服务

[root@x ~]# rsync -a root@192.168.2.11:: //设置是否能够检测到项目jcc

app             

jcc  

在x主机里面把rsync项目拉取过去(不需要启动rsync服务)           

[root@x ~]# rsync -av root@192.168.2.11::jcc /tmp/

4.自动化的推送拉取文件

[root@y ~]# crontab -e

然后在x主机/tmp/下查看

  1. 为rsyncd服务添加密码

编辑vim /etc/rsync.conf

添加两个属性

[root@y ~]# vim /etc/rsyncd.conf

创建编辑密码  账号:密码

[root@y ~]# vim /etc/rsync.secrets 

必须给/etc/rsync.secrets添加权限

[root@y ~]# chmod 600 /etc/rsync.secrets   //更改密码文件权限为600

重启rsyncd服务

Systemctl restart rsyncd

在x主机上拉取文件

[root@x ~]# rsync -av xiaojia@192.168.2.11::jcc /tmp/

  1. 实现代码实时同步

安装inotify-tools(监听工具)

[root@y ~]# yum -y install inotify-tools

编写inotify.sh脚本

[root@y ~]# vim inotify.sh

[root@y ~]# ./inotify.sh  //执行脚本 文件没有改变不动,会卡那

再开一个终端创建文件

[root@y ~]# touch /jcc/xiaoyuanweb/tt.txt

监听就会动

内容概要:本文档详细介绍了在三台CentOS 7服务器(IP地址分别为192.168.0.157、192.168.0.158和192.168.0.159)上安装和配置Hadoop、Flink及其他大数据组件(如Hive、MySQL、Sqoop、Kafka、Zookeeper、HBase、Spark、Scala)的具体步骤。首先,文档说明了环境准备,包括配置主机名映射、SSH免密登录、JDK安装等。接着,详细描述了Hadoop集群的安装配置,包括SSH免密登录、JDK配置、Hadoop环境变量设置、HDFS和YARN配置文件修改、集群启动与测试。随后,依次介绍了MySQL、Hive、Sqoop、Kafka、Zookeeper、HBase、Spark、Scala和Flink的安装配置过程,包括解压、环境变量配置、配置文件修改、服务启动等关键步骤。最后,文档提供了每个组件的基本测试方法,确保安装成功。 适合人群:具备一定Linux基础和大数据组件基础知识的运维人员、大数据开发工程师以及系统管理员。 使用场景及目标:①为大数据平台搭建提供详细的安装指南,确保各组件能够顺利安装和配置;②帮助技术人员快速掌握Hadoop、Flink等大数据组件的安装与配置,提升工作效率;③适用于企业级大数据平台的搭建与维护,确保集群稳定运行。 其他说明:本文档不仅提供了详细的安装步骤,还涵盖了常见的配置项解释和故障排查建议。建议读者在安装过程中仔细阅读每一步骤,并根据实际情况调整配置参数。此外,文档中的命令和配置文件路径均为示例,实际操作时需根据具体环境进行适当修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值