[Hadoop基础]--what is hdfs nfs gateway ?

最新推荐文章于 2024-11-16 19:00:01 发布
翻译 最新推荐文章于 2024-11-16 19:00:01 发布 · 764 阅读 · 0
文章标签：

#hdfs #nfs gateway

本文介绍HDFS的NFS网关功能，允许用户在NFSv3客户端兼容的操作系统上通过本地文件系统浏览HDFS，实现文件上传下载及直接数据传输。先决条件包括NFS网关机器需运行HDFS客户端所有组件，并在DataNode、NameNode或HDP客户端计算机上安装并启动NFS服务器。

介绍

HDFS的NFS网关允许客户端挂载HDFS并通过NFS与其进行交互，就像它是本地文件系统的一部分一样。网关支持NFSv3。

安装HDFS后，用户可以：

  • 在NFSv3客户端兼容的操作系统上通过其本地文件系统浏览HDFS文件系统。

  • 在HDFS文件系统和本地文件系统之间上载和下载文件。

  • 通过挂载点将数据直接传输到HDFS。（支持文件追加，但不支持随机写入。）

 

先决条件

1、NFS网关机器必须运行运行HDFS客户端所需的所有组件，例如Hadoop核心JAR文件和HADOOP_CONF目录。

2、NFS网关可以安装在任何DataNode，NameNode或HDP客户端计算机上。在该计算机上启动NFS服务器。

 

原文链接：

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.5/bk_hdfs-nfs-gateway-user-guide/content/hdfs-nfs-gateway-user-guide.html

HDFS NFS Gateway使用
大明湖里有蛤蟆
06-03 2309
hadoop的hdfs支持nfs挂载，挂载的思路是这样的。首先在集群中选择一个节点作为nfs的server，然后在集群外的节点作为nfs的客户端上进行挂载。 集群外的节点为nfs的客户端，集群里面的nfs server的节点是nfs的服务器端，同时也是hdfs的客户端。
Hadoop-002-部署并配置HDFS集群
加贝的博客
10-30 1376
第一篇前期环境准备后, 本文主要是HDFS的部署完整配置, 直到搭建完成成功访问 http://hadoop-1:9870
HDFS NFS Gateway
热门推荐
来啊 快活啊
08-21 1万+
HDFS NFS Gateway Overview NFS Gateway支持NFSv3，允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统。目前，NFS Gateway支持和启用了下面的使用模式： 1.用户可以在基于NFSv3客户端兼容的操作系统上的本地文件系统上浏览HDFS文件系统。 2.用户可以从挂载到本地文件系统的HDFS文件系统上下载文件。 3
HDFS NFS Gateway(环境配置，超级详细！！)
菜菜的博客
12-21 1万+
​ HDFS NFS Gateway是Hadoop Distributed File System（HDFS）中的一个组件，它允许客户端通过NFS（Network File System，网络文件系统）与HDFS进行交互。具体来说，HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统，支持上传，下载，删除，追加内容，有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用，以及配置检查NFS是否正常。
Hadoop HDFS NFS GateWay部署深入详解
铭毅天下Elasticsearch
03-12 1万+
目的：通过挂载的方式，可以类似访问本地磁盘的方式一样的访问Hadoop文件，简单、方便、快捷。0.系统版本&hadoop版本 1）系统版本[root@WEB-W031 sbin]# cat /etc/issue CentOS release 5.8 (Final)2）Hadoop版本[root@WEB-W031 /]# hadoop version Hadoop 2.7.2 Subversion
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
铭毅天下Elasticsearch
03-17 4774
0.前提有三台机器：10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器。 10.1.111.13为非Hadoop机器。目前查到的资料里面显示HDFS NFS GateWay的挂载方式为： 参考：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码
09-10
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】--...
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
Hadoop基础操作-上传文件到HDFS目录
csy20230322065的博客
11-16 3358
HDFS 是Hadoop的核心组件之一，负责文件数据的存储。本节的任务首先是了解 HDFS，以及HDFS与其他文件系统之间的关系;其次介绍HDFS的基本操作并将存储在 Linux 本地的日志文件email_log.txt上传至HDFS的/user/root/目录下。
Hadoop学习-集群配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
HaveAGoodDay428的博客
02-17 8312
集群配置文件，hadoop
gateway用法详解
04-14
gateway用法详解
Hadoop HDFS NFS GateWay部署深入具体解释
weixin_34072458的博客
07-08 180
目的：通过挂载的方式，能够相似訪问本地磁盘的方式一样的訪问Hadoop文件。简单、方便、快捷。 0.系统版本号&hadoop版本号 1）系统版本号 [root@WEB-W031 sbin]# cat /etc/issue CentOS release 5.8 (Final) 2）Hadoop版本号 [root@WEB-W031 /]# hadoop v...
Hadoop Gateway 部署
diaokaijing6889的博客
10-25 393
1.集群的 hadoop-current hive-current spark-current copy 到 gateway 机器 2.集群的 hadoop-conf 　　 hive-conf 　　　　spark-conf copy 到 gateway 机器 3.集群的 yarn.sh 　　 ...
HDFS NFS Gateway配置使用说明
CREATE_17的博客
01-11 932
“来，了解一下NFS Gateway组件，挺好用的”环境说明Ambari 2.6.1HDP 2.6.4.0前言假如我们在命令行中访问HDFS路径的话，确实有...
对hadoop中各个组件的简单描述
warm_day的博客
02-26 1754
英语理解能力好的童鞋可以参考（这里有详细的各个hadoop组件的名称及用途）： http://www.cloudera.com/documentation/manager/5-0-x/Cloudera-Manager-Managing-Clusters/cm5mc_hive_service.html#xd_583c10bfdbd326ba-204beb9-13ef1573a9e–7ff6__sec...
HDFS NFS Gateway安装配置详解
雕刻时光的大数据专栏
08-05 1万+
-by liuweibj 1.概述 HDFS NFS Gateway能够把HDFS挂载到客户机上作为本地文件系统来管理，支持NFSv3。当前版本的NFS Gateway有如下可用特性。 l  用户在支持NFSv3的操作系统上可以通过本地文件系统浏览HDFS。 l  使用NFS Gateway 用户能够直接下载和上传HDFS文件到本地文件系统中。 l  用户可以通过挂载点直接传输数据流至H
Hadoop大数据应用：NFS网关 连接 HDFS集群
cronaldo91的博客
03-14 1519
（19）修改NFS网关配置文件 （nfsgateway节点）（8）同步Hadoop配置 (hadoop节点)SecondaryNameNode （已部署）（17）关闭安全机制（需要reboot重启）（14）卸载 （nfsgateway节点）(7)查看 （nfsgateway节点）(4）安装NFS （node05节点）（1）安装NFS （node04节点）NodeManager（已部署）NodeManager（已部署）NodeManager（已部署）NameNode （已部署）（18）同步hadoop配置。
hdfs-整合nfs 官文翻译
DCHAO的博客
11-09 410
nfs服务可以让远程客户端以访问本地文件的形式访问远程hdfs目录 官文 overview nfs gateway支持NFSv3，将hdfs目录挂载到远程客户端的本地文件系统中。主要有以下场景： 使用NFSv3 client浏览hdfs目录 下载 上传 用户可以通过挂载点直接将数据流传输到HDFS。支持文件追加，但不支持随机写 The NFS gateway machine needs the same thing to run an HDFS client like Hadoop JAR files,
hadoop fs -<command> 或 hdfs dfs -<command>解释命令
最新发布
04-02
<think>好的，我现在需要回答用户关于Hadoop文件系统命令的用法和含义的问题，特别是hadoop fs和hdfs dfs的区别以及它们的参数说明。首先，我得回忆一下用户提供的引用内容，确保信息准确。 根据引用[1]、[2]和[3]，hadoop fs是一个通用命令，适用于所有文件系统，比如本地文件系统、HDFS、S3等。而hadoop dfs已经不推荐使用，被hdfs dfs替代，这两个命令专门针对HDFS。需要明确说明它们的区别和适用场景。 接下来，用户需要详细的参数说明。我应该列举常用参数，比如-ls、-mkdir、-put、-get、-rm等，并给出示例。同时，注意保持格式正确，使用行内数学表达式和独立公式的格式，但这里可能更多是代码块和命令示例。 需要确保回答结构清晰，分点说明命令区别，然后详细参数说明，最后应用示例。同时，生成相关问题，可能包括其他HDFS命令、权限管理、与本地文件系统的交互等。 检查是否有遗漏的重要参数或常见使用场景，比如查看文件内容、复制文件、检查空间使用等。确保引用正确，每个引用标记对应正确的来源，例如引用[^1]、[^2]、[^3]分别对应提供的三个引用内容。 最后，验证所有信息是否符合用户提供的引用内容，避免错误。例如，确认hadoop dfs已经被弃用，而hdfs dfs是推荐使用的。同时，确保参数示例正确，如hadoop fs -ls /显示根目录内容，hdfs dfs -mkdir创建目录等。</think>### Hadoop文件系统命令详解 #### 1. 命令区别解析 - **`hadoop fs`** 通用文件系统操作命令，支持**所有Hadoop兼容的文件系统**（本地文件系统、HDFS、S3等）。例如： ```bash hadoop fs -ls / # 显示HDFS根目录内容 hadoop fs -put local.txt hdfs:///path/ # 上传文件到HDFS ``` - **`hdfs dfs`** 专门操作**HDFS分布式文件系统**的命令，是`hadoop dfs`的替代品[^2]。例如： ```bash hdfs dfs -mkdir /test # 在HDFS创建目录 hdfs dfs -cat /data/log.txt # 查看HDFS文件内容 ``` > **关键区别**： > - `hadoop fs`适用于跨文件系统操作（如本地与HDFS交互）[^3] > - `hdfs dfs`仅针对HDFS，且效率更高[^1] --- #### 2. 核心参数说明 | 参数 | 功能 | 示例 | |-------------|-------------------------------------|-------------------------------------------| | `-ls <路径>` | 列出目录内容 | `hdfs dfs -ls /user` | | `-mkdir` | 创建目录（加`-p`递归创建） | `hadoop fs -mkdir -p /data/raw` | | `-put` | 上传本地文件到HDFS | `hdfs dfs -put log.txt /data/` | | `-get` | 下载HDFS文件到本地 | `hadoop fs -get /data/log.txt ./` | | `-rm` | 删除文件（加`-r`删除目录） | `hdfs dfs -rm -r /tmp/old_data` | | `-cat` | 查看文件内容 | `hadoop fs -cat /data/result.csv` | | `-du` | 显示目录/文件大小（`-h`人性化显示） | `hdfs dfs -du -h /user` | | `-cp` | 跨文件系统复制 | `hadoop fs -cp hdfs:///data.txt s3a://bucket/` | --- #### 3. 典型应用场景 1. **跨系统文件传输** ```bash hadoop fs -copyFromLocal local_file.txt hdfs://namenode/path/ # 本地→HDFS hadoop fs -copyToLocal hdfs:///data/remote_file.txt ./ # HDFS→本地 ``` 2. **空间管理** ```bash hdfs dfs -df -h # 查看HDFS存储空间使用情况 hdfs dfs -count -q /user # 显示配额信息 ``` 3. **权限控制** ```bash hdfs dfs -chmod 755 /data # 修改目录权限 hdfs dfs -chown user:group /logs # 修改所有者 ``` ---
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值