利用Wget 直接将数据Put到HDFS 上

一线码奴

于 2015-02-11 18:18:53 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/guoning_scdn/article/details/43736617

Hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何使用 wget 命令从指定 URL 下载文件，并通过 hadoop fs 命令直接将文件上传至 HDFS，避免了文件落地的过程。文中详细解释了参数 -O 的作用以及如何实现数据流的重定向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如题：

wget http://117.79.226.247:8888/impala/download/1565/xls -O - | hadoop fs -put - /tmp/wget_to_hdfs


-O 重命名
-O  后面的 - 为重定向到标准输出，（这里就是控制台） -put 后面的 - 标准输入（对应前面的标准输出）

这样 就可以是数据不落地直接PUT 到 hdfs上面，项目刚刚的～