5.3.4 实战 - Shell采集数据按日期上传到HDFS

本实战项目涉及使用Shell脚本将日志数据按日期上传至HDFS。首先，配置必要的环境变量以确保脚本能在无环境变量的机器上运行。接着，设置日志存放目录和待上传文件目录，以便监控上传进度。定义HDFS目标路径，并格式化日期。脚本遍历日志文件，将它们移动到待上传目录，并记录于列表文件中。然后，从列表文件中读取文件路径，上传至HDFS，并更新文件状态。最后，通过执行脚本、查看目录和Hadoop WebUI来验证上传结果。这一流程自动化了数据上传，提高了数据处理的效率和可靠性。