sftp拉取数据到hive中

SFTP拉取数据至Hive教程

最新推荐文章于 2023-05-30 17:53:13 发布

原创最新推荐文章于 2023-05-30 17:53:13 发布 · 513 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sftp #hive #大数据

本文介绍如何通过SFTP从远程服务器拉取CSV文件，并将其导入Hive进行存储的具体步骤。涵盖SFTP配置、文件下载及HDFS操作等关键技术点。

sftp拉取数据到hive中

#sftp服务器地址
host=10.129.11.50
#端口
port=8888
sftp_user=user
#密码
password=passw0rd


#下载到本地的目录
localDir=/home/hive/nps/nps_dealer/${pt}/
[ ! -d $localDir ] && mkdir -p $localDir
#sftp中待下载文件目录
remoteDir=/home/appuser/report/R

#要下载的文件为fileName
fileName=nps_dealer.csv
lftp -u ${sftp_user},${password} sftp://${host}:${port}<<EOF
cd ${remoteDir}
lcd ${localDir} 
get $fileName
by
EOF

hadoop fs -mkdir /user/hive/warehouse/ods/amdlr/ods_nps_dealer_temp/pt=${pt}
hadoop fs -put -f /home/hive/nps/nps_dealer/${pt}/*  /user/hive/warehouse/ods/amdlr/ods_nps_dealer_temp/pt=${pt}