通过shell定时采集数据到HDFS

一、背景

在实际的开发环境中，服务器每天都会产生大量的日志文件，这些日志文件会记录服务器的运行状态。当服务器宕机的时候，可以从日志文件中查找服务器宕机的原因。

二、步骤

1.创建shell脚本

在虚拟机bxm02的/export/data目录下执行vi uploadHDFS.sh，在该文件中实现Hadoop日志文件到hdfs的代码

注意：在创建shell脚本的时候一定要注意关于空格的问题，在if之后有一个空格，还有[]里面都有空格，如果没有空格的话会报错

2.执行shell脚本

进入虚拟机bxm02的/export/data/目录，要确保Hadoop集群处于启动的状态，启动之后执行shuploadHDFS.sh命令运行shell脚本文件

3.验证Hadoop日志文件是否上传成功

4.定时执行shell脚本文件

（1）在虚拟机bxm02上执行rpm -qa | grep crontab命令，检查是否安装了crontab

（2）使用crontab时，保证crontab服务处于运行状态

（3）进入虚拟机bxm02的/export/data/目录为shell脚本文件uploadHDFS.sh添加可执行权限

（4）在虚拟机bxm02上窒息感crontab -e命令编辑crontab文件，配置定时任务

我设置的是每个1分钟就进行一次任务

（5）查看当前指定的定时任务：可以看出每个一分钟就执行了一次定时任务