逐鹿

当SFTP中数据量过大时，一台机器可能抽取不过来，可以利用多台机器抽取，该shell脚本实现的功能有：多台机器比对已下载文件和sftp中文件，下载没有下载过的文件 多台机器不需要通信，简化布置难度 将下载到的大量小文件合并后，将“前缀-日期....”命名的文件上传到hdfs对应的日期目录下 记录下载的文件名、文件大小、文件数量和合并后的文件数量、文件大小 需要用到except组件，请单独安装，except组件可离线安装，请字行百度#!/bin/bash#/home/data/script.