sftp拉取数据到hive中

最新推荐文章于 2024-02-15 15:34:37 发布

之首木乔

最新推荐文章于 2024-02-15 15:34:37 发布

阅读量488

点赞数

CC 4.0 BY-SA版权

文章标签： sftp hive 大数据

本文链接：https://blog.youkuaiyun.com/macfei/article/details/114885589

本文介绍如何通过SFTP从远程服务器拉取CSV文件，并将其导入Hive进行存储的具体步骤。涵盖SFTP配置、文件下载及HDFS操作等关键技术点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sftp拉取数据到hive中

#sftp服务器地址
host=10.129.11.50
#端口
port=8888
sftp_user=user
#密码
password=passw0rd


#下载到本地的目录
localDir=/home/hive/nps/nps_dealer/${pt}/
[ ! -d $localDir ] && mkdir -p $localDir
#sftp中待下载文件目录
remoteDir=/home/appuser/report/R

#要下载的文件为fileName
fileName=nps_dealer.csv
lftp -u ${sftp_user},${password} sftp://${host}:${port}<<EOF
cd ${remoteDir}
lcd ${localDir} 
get $fileName
by
EOF

hadoop fs -mkdir /user/hive/warehouse/ods/amdlr/ods_nps_dealer_temp/pt=${pt}
hadoop fs -put -f /home/hive/nps/nps_dealer/${pt}/*  /user/hive/warehouse/ods/amdlr/ods_nps_dealer_temp/pt=${pt}