利用Wget 直接将数据Put到HDFS 上

最新推荐文章于 2024-03-12 15:37:35 发布
最新推荐文章于 2024-03-12 15:37:35 发布
阅读量2k 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/guoning_scdn/article/details/43736617
版权

如题：


wget http://117.79.226.247:8888/impala/download/1565/xls -O - | hadoop fs -put - /tmp/wget_to_hdfs


-O 重命名
-O  后面的 - 为重定向到标准输出，（这里就是控制台） -put 后面的 - 标准输入（对应前面的标准输出）

这样 就可以是数据不落地直接PUT 到 hdfs上面，项目刚刚的～


hive数据处理及hdfs文件操作
Saint
06-28 1万+
写在前面： 本想使用hive调用python脚本实现统计分析movielens数据，但是最后一步调用脚本的地方不成功没找到问题所在，于是将过程中的一些经验写出来，非常详尽，对新手来说应该挺有用的。 另外调用脚本的程序和报错我会贴出来，应该是脚本写的有问题，后面找到问题或者有人告诉我我会更新。 还拿hive与movie lens数据说事儿。 1、首先进入hive数据库创建...
【分布式存储系统HDFS】架构和使用
weixin_39372311的博客
07-18 765
HDFS是Apache Hadoop项目的一部分，专为大规模数据存储设计。它通过分布式架构，实现了高可靠性、高吞吐量的数据存储和访问，能够处理PB级别的数据量。HDFS采用主从架构，主要由NameNode和DataNode构成。
cURL（wget）—— 测试 RESTful 接口及模拟 GET/POST/PUT/DELETE/OPTIONS 请求
04-30 4106
cURL 是一个简单的 http 命令行工具。与最优秀的 Unix 工具一样，在设计之时，cURL 是个小型程序，功能十分专一，而且是故意为之，仅用于访问 http 服务器。（在 Linux 中，可以使用包管理器轻易安装，apt-get install curl/yum install curl）。
通过管道将wget文件落地到hdfs
shengyu21的专栏
11-11 1375
部门同事经常会通过wget去拉相应的日志文件到本地的机器， 最近最近存储全部切换到hdfs上了，所以将wget的文件方便快捷的保存到hdfs就变成很急切的需求。 目前同步文件一般都采用不落地的方式，即不写本地的磁盘，直接将读到的数据同步到目标地。 因为我们的hdfs是使用了hfds-fuse的，所以自然就会想到通过fuse来实现。 但是经过测试，通过fuse会报错误，应该是因为在数据传输到
linux wget 命令用法详解(附实例说明)
Vic的博客
11-14 1119
Linux wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机，处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘，然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力，那不没办法的事。而到了Linux VPS，它则可以直接下载到服务器而不用经过上传这一步。wget...
Linux用wget/curl 发起post请求
悟能的师兄的专栏
12-27 6632
在Linux系统中，wget命令通常用于下载网络上的文件，它支持HTTP、HTTPS和FTP协议。但wget本身并不直接支持发送POST请求或JSON数据。如果你需要用wget发起一个POST JSON请求，实际上你需要借助一些额外的参数和工具。--post-data='{"inmap":{"word":"螺纹钢筋 HRB400 Φ6.5"}}'如果你仍然遇到问题，可能需要检查服务器端的API文档，以确保你发送的数据格式和服务器期望的数据格式一致。
linux wget命令详解
weixin_33932129的博客
06-20 326
wget命令详解 wget是在Linux下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括Windows在内的各个平台上。它有以下功能和特点： 　　（1）支持断点下传功能；这一点，也是网络蚂蚁和FlashGet当年最大的卖点，现在，Wget也可以使用此功能，那些网络不是太好的用户可以放心了； 　　（2）同时支持FTP和HTTP下载方式；尽管现在大部分软件可以使用...
传输到hdfs数据，进行压缩
02-13
本文将深入探讨如何将数据传输到HDFS（Hadoop分布式文件系统）并进行压缩，特别是使用LZOP压缩算法。 首先，LZOP是一种专门为Hadoop设计的压缩格式，它具有较高的压缩率和较快的解压速度，特别适合于HDFS环境。LZOP...
Hadoop_HDFS_HBase在centos上部署
04-15
在本文中，我们将深入探讨如何在CentOS操作系统上部署Hadoop HDFS和HBase。首先，我们来看一下Hadoop的部署过程。 ### 一、部署Hadoop #### 1. 安装Hadoop 3.1.3 安装Hadoop需要先确保你的系统满足其依赖项，比如...
快速搭建kerberos认证的HDFS环境
qq_39522120的博客
03-12 1135
快速搭建kerberos认证的HDFS环境
centos模拟post请求_Linux下模拟http的get/post请求（curl or wget）详解
weixin_42356659的博客
01-13 706
Linux下模拟http的get/post请求(curl or wget)详解Linux下模拟http的get/post请求(curl or wget)详解背景最近项目中需要测试接口，但是测试服务器通过堡垒机才能访问，暂时又没有通过Nginx进行转发，只好直接在Linux上模拟http请求进行测试。方法get请求curl “http://www.baidu.com” 如果URL指向的是一个文件或者...
Linux教程之传输文件（scp，ftp，wget，curl）
为生信助力
11-09 2238
在 linux 系统中传输文件
使用curl和wget模拟REST请求
yzl11的博客
03-25 1072
http://ju.outofmemory.cn/entry/75819
使用curl和wget发送post请求
cws1214的专栏
03-18 5万+
1.wget wget --post-data="user=user1&pass=pass1&submit=Login"  http://domain.com/path/page_need_login.php   2.curl (可直接发送格式化请求例如json) 提交json数据需要加header，否则需'json={"phone":"13521389587","password
模拟Http发送get、post、put、delete请求
u012453843的专栏
11-09 2万+
最近在公司要定义和实现Restful接口，需要模拟Http请求来验证请求是否能进入接口，现在把学习的东西记录下来以备以后查询。       首先说一说模拟get请求，get请求最简单的方式是通过地址栏输入地址和参数。这个没什么可说的。有一个模拟get请求的好工具值得学习一下，那就是Opera。我们可以到：http://download.youkuaiyun.com/detail/u012453843/967
wget 常用例子
blue0bird的专栏
11-16 809
1 COMMON COMMANDS 1-1 Download a single file from the Internet 1-2 Download a file but save it locally under a different name 1-3 Download a file and save it in a specific folder 1-4 Resume an interrup
系统命令交叉编译--wget,ftpgetput
rhmis的博客
10-18 1345
wget工具 时间：2021-10-14，wget版本1.21 编译过程 1、下载wget源码：http://mirror-hk.koddos.net/gnu/wget/ 2、解压，进入源码目录：cd wget-1.21/ 3、创建安装目录：mkdir __install 4、在Linux环境下，选择对应平台编译链进行配置： ./configure --prefix=$PWD/__install --host=arm-xxxxxx-linux CC=arm-xxxxxx-linux-gcc --withou
Linux命令发送Http的get或post请求(curl和wget两种方法)
热门推荐
cyl937的专栏
10-18 20万+
Http请求指的是客户端向服务器的请求消息，Http请求主要分为get或post两种，在Linux系统下可以用curl和wget命令来模拟Http的请求。下面就来介绍一下Linux系统如何模拟Http的get或post请求。 一、get请求： 　　1、使用curl命令： 　　curl “http://www.baidu.com” 如果这里的URL指向的是一个文件或者一幅图都可
通过cmd上传文件的方法-wget方法
椰树ii
09-27 6451
测试机：win2003（win系统都可以，不一一举例）工具:wget.exe用法cmd下wget.exe http://www.xxx.com/xxx -O c:/windows/xxx(本地保存路径)如图：OK，上传成功。其实这个方法比较多余， 因为在拿到shell之后想办法传程序上去，wget.exe是第三方程序作用也是传程序，你有办法传wget.exe上去，就可以传别的，根本用不着wget....
docker部署hdfs
最新发布
01-07
### 使用 Docker 部署 Hadoop 分布式文件系统 (HDFS) #### 准备工作 为了使用 Docker 来部署 HDFS，需要先确保主机上已经正确安装了 Docker。对于 Ubuntu 用户来说，可以按照官方指南完成 Docker 的安装与配置[^1]。 #### 构建 Hadoop 基础镜像 创建一个新的 `Dockerfile` 文件用于构建自定义的 Hadoop 镜像： ```dockerfile FROM ubuntu:latest # 设置环境变量 ENV HADOOP_VERSION=3.3.0 \ JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 \ PATH=$PATH:/opt/hadoop/bin/:/opt/hadoop/sbin/ # 更新包列表并安装必要的软件包 RUN apt-get update && \ apt-get install -y openjdk-11-jdk wget curl tar gzip vim && \ rm -rf /var/lib/apt/lists/* # 下载并解压 Hadoop 发行版 WORKDIR /opt/ RUN wget https://archive.apache.org/dist/hadoop/core/hadoop-$HADOOP_VERSION/hadoop-$HADOOP_VERSION.tar.gz && \ tar xf hadoop-$HADOOP_VERSION.tar.gz && \ mv hadoop-$HADOOP_VERSION hadoop && \ ln -s /opt/hadoop/etc/hadoop /etc/hadoop # 复制配置文件到容器内 COPY core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml /etc/hadoop/ EXPOSE 8088 9870 9864 9866 9867 CMD ["bash"] ``` 上述脚本会下载指定版本的 Hadoop 并将其路径加入系统的 `$PATH` 中以便后续可以直接调用命令工具；同时还会暴露几个常用的端口供 Web UI 访问和其他组件通信所用。 #### 修改核心配置文件 接下来要编辑两个重要的 XML 格式的配置文件——`core-site.xml` 和 `hdfs-site.xml`。这些文件通常位于 `/etc/hadoop/` 目录下，在这里可以通过挂载本地文件的方式覆盖默认设置或直接在 Dockerfile 中复制进去。 以下是针对单节点伪分布模式下的简单配置示例： **core-site.xml** ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` **hdfs-site.xml** ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:9870</value> </property> <property> <name>dfs.datanode.http.address</name> <value>0.0.0.0:9864</value> </property> </configuration> ``` 以上配置指定了 NameNode 和 DataNode 对应的服务地址以及副本因子等参数[^2]。 #### 启动服务 编写好所有的配置之后就可以通过下面这条指令来启动一个包含 Hadoop 环境的新容器实例: ```shell docker run -it --rm --name=hadoop-distributed-file-system -p 9870:9870 -v $(pwd)/config:/etc/hadoop my-hadoop-image bash ``` 进入容器内部后继续初始化 HDFS 文件系统，并启动相关守护进程： ```shell hdfs namenode -format start-dfs.sh jps ``` 如果一切顺利的话应该能够看到如下输出表示各个角色均已正常运行起来[^3]: ```text 2437 DataNode 2548 SecondaryNameNode 2647 NodeManager 2962 Jps ``` 此时便可以在浏览器里访问 http://localhost:9870 查看 Namenode 的状态页面了。 #### 测试集群功能 最后一步就是测试整个集群的功能是否完好无损。为此可参照之前提到的例子创建一些简单的文本数据集作为输入源上传给 HDFS 存储层处理： ```shell mkdir input echo "hello world" > input/file.txt hadoop fs -put ./input / ``` 这样就完成了利用 Docker 技术快速搭建起一套简易版 Hadoop 分布式文件系统的全过程介绍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值