利用Wget 直接将数据Put到HDFS 上

Wget 直接上传 HDFS
最新推荐文章于 2025-08-06 13:51:02 发布
原创 最新推荐文章于 2025-08-06 13:51:02 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何使用 wget 命令从指定 URL 下载文件，并通过 hadoop fs 命令直接将文件上传至 HDFS，避免了文件落地的过程。文中详细解释了参数 -O 的作用以及如何实现数据流的重定向。

如题：


wget http://117.79.226.247:8888/impala/download/1565/xls -O - | hadoop fs -put - /tmp/wget_to_hdfs


-O 重命名
-O  后面的 - 为重定向到标准输出，（这里就是控制台） -put 后面的 - 标准输入（对应前面的标准输出）

这样 就可以是数据不落地直接PUT 到 hdfs上面，项目刚刚的～


hive数据处理及hdfs文件操作
Saint
06-28 1万+
写在前面： 本想使用hive调用python脚本实现统计分析movielens数据，但是最后一步调用脚本的地方不成功没找到问题所在，于是将过程中的一些经验写出来，非常详尽，对新手来说应该挺有用的。 另外调用脚本的程序和报错我会贴出来，应该是脚本写的有问题，后面找到问题或者有人告诉我我会更新。 还拿hive与movie lens数据说事儿。 1、首先进入hive数据库创建...
ES备份数据-快照模式-并恢复---HDFS篇---推荐好用
cz124560的博客
06-03 1166
我这边采用快照的模式进行备份数据 备份源的es 版本要等于低于恢复elasticsearch集群的版本； 先看下： Hadoop HDFS Repository Plugin：https://www.elastic.co/guide/en/elasticsearch/plugins/7.16/repository-hdfs.html 要注意自己版本哈 我的是7.16 ES集群快照存在版本兼容性问题：https://www.elastic.co/guide/en/elasticsearch/referen
cURL（wget）—— 测试 RESTful 接口及模拟 GET/POST/PUT/DELETE/OPTIONS 请求
04-30 4169
cURL 是一个简单的 http 命令行工具。与最优秀的 Unix 工具一样，在设计之时，cURL 是个小型程序，功能十分专一，而且是故意为之，仅用于访问 http 服务器。（在 Linux 中，可以使用包管理器轻易安装，apt-get install curl/yum install curl）。
通过管道将wget文件落地到hdfs
shengyu21的专栏
11-11 1397
部门同事经常会通过wget去拉相应的日志文件到本地的机器， 最近最近存储全部切换到hdfs上了，所以将wget的文件方便快捷的保存到hdfs就变成很急切的需求。 目前同步文件一般都采用不落地的方式，即不写本地的磁盘，直接将读到的数据同步到目标地。 因为我们的hdfs是使用了hfds-fuse的，所以自然就会想到通过fuse来实现。 但是经过测试，通过fuse会报错误，应该是因为在数据传输到
linux wget 命令用法详解(附实例说明)
Vic的博客
11-14 1143
Linux wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机，处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘，然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力，那不没办法的事。而到了Linux VPS，它则可以直接下载到服务器而不用经过上传这一步。wget...
Linux用wget/curl 发起post请求
悟能的师兄的专栏
12-27 7187
在Linux系统中，wget命令通常用于下载网络上的文件，它支持HTTP、HTTPS和FTP协议。但wget本身并不直接支持发送POST请求或JSON数据。如果你需要用wget发起一个POST JSON请求，实际上你需要借助一些额外的参数和工具。--post-data='{"inmap":{"word":"螺纹钢筋 HRB400 Φ6.5"}}'如果你仍然遇到问题，可能需要检查服务器端的API文档，以确保你发送的数据格式和服务器期望的数据格式一致。
linux wget命令详解
weixin_33932129的博客
06-20 351
wget命令详解 wget是在Linux下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括Windows在内的各个平台上。它有以下功能和特点： 　　（1）支持断点下传功能；这一点，也是网络蚂蚁和FlashGet当年最大的卖点，现在，Wget也可以使用此功能，那些网络不是太好的用户可以放心了； 　　（2）同时支持FTP和HTTP下载方式；尽管现在大部分软件可以使用...
传输到hdfs数据，进行压缩
02-13
本文将深入探讨如何将数据传输到HDFS（Hadoop分布式文件系统）并进行压缩，特别是使用LZOP压缩算法。 首先，LZOP是一种专门为Hadoop设计的压缩格式，它具有较高的压缩率和较快的解压速度，特别适合于HDFS环境。LZOP...
搭建Hadoop完全分布式框架，构建Zookeeper框架、构建Hbase框架。将获取到的数据上传至虚拟机本地，然后再将数据导入到HDFS中。在HBase中建立相应的数据表，然后将数据全部导入数据表中全部代码
12-24
5. **数据上传**: 使用Hadoop提供的工具如`hdfs dfs`或`hadoop fs`，将数据从本地上传到HDFS。 ```sh hadoop fs -put /path/to/local/file hdfs://namenode:port/path/in/hdfs ``` 6. **创建HBase表**: 连接到...
NiFi简介和基本操作（含通过NiFi上传文件到HDFS案例）
weixin_45568892的博客
04-08 3197
NiFi简介和基本操作（含通过NiFi上传文件到HDFS案例） 一、简介 ​ NiFi是一个易用、强大、可靠的数据处理与分发系统。基于Web图形界面，通过拖曳、连接、配置完成基于流程的编程，实现数据采集等功能。 ​ 传统的数据解决方案通常会遇到以下挑战：网络错误、硬盘错误、软件崩溃、人为错误、数据生产能力超过消费能力、对现有数据流进行增加和修改需要的操作太复杂等等 二、NiFi的特性及优缺点 特性...
wget与curl命令区别详解
ITHomeZSL的博客
08-06 757
是两个常用的命令行工具，用于从网络下载数据或与服务器交互。支持 HTTP、HTTPS、FTP，但对其他协议（如 WebSocket、SMTP）支持有限。（包括 HTTP/2、MQTT、LDAP 等），更灵活。根据需求选择：下载用。
wget、curl 命令使用场景与命令实践
干就完了！！！
05-11 493
专注于，支持递归下载、断点续传，适合批量或自动化下载任务。：支持，适合调试 API、上传文件、自定义请求等复杂操作。示例：检查的响应状态码和延迟。
Linux教程之传输文件（scp，ftp，wget，curl）
为生信助力
11-09 2651
在 linux 系统中传输文件
wget 常用例子
blue0bird的专栏
11-16 841
1 COMMON COMMANDS 1-1 Download a single file from the Internet 1-2 Download a file but save it locally under a different name 1-3 Download a file and save it in a specific folder 1-4 Resume an interrup
Linux命令发送Http的get或post请求(curl和wget两种方法)
热门推荐
cyl937的专栏
10-18 20万+
Http请求指的是客户端向服务器的请求消息，Http请求主要分为get或post两种，在Linux系统下可以用curl和wget命令来模拟Http的请求。下面就来介绍一下Linux系统如何模拟Http的get或post请求。 一、get请求： 　　1、使用curl命令： 　　curl “http://www.baidu.com” 如果这里的URL指向的是一个文件或者一幅图都可
网络学习 curl 和wget 区别及wget使用
xiaoliuliu2050的专栏
11-30 1万+
它们的区别，我看到的有如下几点：1.curl是libcurl这个库支持的，wget是一个纯粹的命令行命令。2.curl支持更多的协议。curl supports FTP, FTPS,HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP and RTSP at the time of this...
Linux “wget”命令详解
m0_71218711的博客
01-08 8861
Linux中的wget命令是一个非常强大的工具，用于从网络上下载文件。它支持HTTP、HTTPS和FTP协议，能够在断网或者是限速的情况下重启下载。wget命令是命令行下的非交互式下载器，这意味着它可以在后台运行，而不干扰当前的进程，并且支持在下载过程中退出并在需要时继续下载。wget。
Linux wget命令详解
小鸡啄米
01-17 864
Linux wget命令详解   wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。   wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到...
HDFS 分布式文件系统部署与数据读写实验
最新发布
11-15
### HDFS分布式文件系统部署 #### 环境准备 要部署HDFS分布式文件系统，需多台安装了Linux系统（如Ubuntu、CentOS）的服务器，且服务器间网络要互通。同时，要安装Java环境，因为Hadoop是用Java编写的。以CentOS为例，可使用以下命令安装OpenJDK： ```bash sudo yum install java-1.8.0-openjdk-devel ``` #### 下载并解压Hadoop 从Hadoop官方网站下载合适版本的Hadoop，然后解压到指定目录： ```bash wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local/ ``` #### 配置Hadoop环境变量 编辑`~/.bashrc`文件，添加以下内容： ```bash export HADOOP_HOME=/usr/local/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 使配置生效： ```bash source ~/.bashrc ``` #### 配置HDFS相关文件 在`$HADOOP_HOME/etc/hadoop`目录下，主要配置以下文件： - `core-site.xml`：配置HDFS的核心参数，如NameNode的地址。 ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> </configuration> ``` - `hdfs-site.xml`：配置HDFS的具体参数，如副本数。 ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` #### 格式化NameNode 在首次启动HDFS前，需格式化NameNode： ```bash hdfs namenode -format ``` #### 启动HDFS 启动NameNode和DataNode： ```bash start-dfs.sh ``` ### HDFS数据读写实验 #### 数据写入 使用`hdfs dfs`命令将本地文件上传到HDFS： ```bash hdfs dfs -put /local/path/file.txt /hdfs/path/ ``` #### 数据读取 将HDFS上的文件下载到本地： ```bash hdfs dfs -get /hdfs/path/file.txt /local/path/ ``` #### 验证数据读写 查看HDFS上的文件列表： ```bash hdfs dfs -ls /hdfs/path/ ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值