将hdfs上的文件下载到linux系统再利用lftp上传到远程服务器

最新推荐文章于 2024-08-29 17:20:17 发布

qq_43193797

最新推荐文章于 2024-08-29 17:20:17 发布

阅读量870

点赞数

CC 4.0 BY-SA版权

分类专栏： shell编程工作 shell linux

本文链接：https://blog.youkuaiyun.com/qq_43193797/article/details/90909847

shell 同时被 3 个专栏收录

21 篇文章

订阅专栏

linux

18 篇文章

订阅专栏

shell编程工作

13 篇文章

订阅专栏

本文介绍了一个使用LFTP进行批量文件上传至FTP服务器的脚本，并演示了如何通过Hadoop从HDFS拉取文件到本地临时目录，再上传至FTP服务器的过程。文章深入探讨了LFTP在一次操作中仅能上传一个文件的限制及其解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

currtDate=`date "+%H%M%S"`
ftpDest=${ftpPath}/${srvDate}${currtDate}
function ftp() {

echo "ftp start"

# clear path info
rm -rf ${localTmpFile}
mkdir -p ${localTmpFile}

#Upload to server
lftp -u ${user},${pw} -p 21 ${serverAd} << eoe
    mkdir -p ${ftpDest}
eoe

for putFile in ${fileList[@]}
do
echo ${hfsPath}${putFile}
hadoop fs -get ${hfsPath}${putFile} ${localTmpFile}

lftp -u ${user},${pw} -p 21 ${serverAd} << eof
    cd ${ftpDest};
    put ${localTmpFile}/${putFile};
eof

#delete localTmpFile
rm ${localTmpFile}/${putFile}
done

if [[ $? -ne 0 ]];then
   exit 255
fi

echo "ftp end"
}

lftp一次只能上传一个文件？