HDFS NFS Gateway

最新推荐文章于 2025-02-09 17:13:04 发布
转载 最新推荐文章于 2025-02-09 17:13:04 发布 · 522 阅读 · 0

本文介绍如何通过NFSGateway实现HDFS与NFSv3的集成，支持用户浏览、下载及上传文件等功能，并详细说明了配置、启动及验证过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Overview

NFS Gateway支持NFSv3，允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统。目前，NFS Gateway支持和启用了下面的使用模式：

1.      用户可以在基于NFSv3客户端兼容的操作系统上的本地文件系统上浏览HDFS文件系统。

2.      用户可以从挂载到本地文件系统的HDFS文件系统上下载文件。

3.      用户可以从本地文件系统直接上传文件到HDFS文件系统。

4.      用户可以通过挂载点直接将数据流写入HDFS。目前支持文件append，随机写还不支持。

NFS Gateway机器需要跟运行HDFS Client一样的环境，像Jar包文件，HADOOP_CONF目录等。NFSGateway可以放在跟DataNode，NameNode或者任何一台HDFS Client机器上。

Configuration

运行NFS-Gateway的用户必须能够代理所有使用NFS挂载点的用户。例如，如果用户“nfsserver” 正在运行Gateway，属于用户组“nfs-users1”和“nfs-users2”的用户使用NFS挂载点，然后，在NameNode的core-site.xml文件，必须配置下面的配置（注意，用在你的集群中启动Gateway服务的用户名代替“nfsserver”）：
 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. <property>  
  2.   <name>hadoop.proxyuser.nfsserver.groups</name>  
  3.   <value>nfs-users1,nfs-users2</value>  
  4.   <description>  
  5.          The 'nfsserver' user is allowed to proxy all members of the 'nfs-users1' and   
  6.          'nfs-users2' groups. Set this to '*' to allow nfsserver user to proxy any group.  
  7.   </description>  
  8. </property>  
  9. <property>  
  10.   <name>hadoop.proxyuser.nfsserver.hosts</name>  
  11.   <value>nfs-client-host1.com</value>  
  12.   <description>  
  13.          This is the host where the nfs gateway is running. Set this to '*' to allow  
  14.          requests from any hosts to be proxied.  
  15.   </description>  
  16. </property>  

上面仅仅是NFS Gateway在不安全的情况下必要的配置。对于使用Kerberos认证的Hadoop集群，下面的配置需要被增加到hdfs-site.xml配置文件中：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. <property>  
  2.     <name>dfs.nfsgateway.keytab.file</name>  
  3.     <value>/etc/hadoop/conf/nfsserver.keytab</value> <!-- path to the nfs gateway keytab -->  
  4.   </property>  
  5.   <property>  
  6.     <name>dfs.nfsgateway.kerberos.principal</name>  
  7.     <value>nfsserver/_HOST@YOUR-REALM.COM</value>  
  8.   </property>  

强烈建议用户基于他们的用例更新部分配置属性。所有相关的属性都可被增加到hdfs-site.xml文件中：

1.      如果客户端在存取时间允许时挂载，确认下面的属性没有在配置文件中被禁用。这个属性更改之后，只有NameNode需要重启。在系统的Unix操作系统上，用户可以通过用noatime挂载来禁用存取时间。如果export用noatime挂载，用户不需要改变下面的属性，因此不需要重启NameNode。

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. <property>  
  2.   <name>dfs.namenode.accesstime.precision</name>  
  3.   <value>3600000</value>  
  4.   <description>The access time for HDFS file is precise upto this value.  
  5.     The default value is 1 hour. Setting a value of 0 disables  
  6.     access times for HDFS.  
  7.   </description>  
  8. </property>  

2.      用户希望更新文件转储目录。NFS客户端经常重新排序写进程。连续的写操作可能一随即顺序到达NFS Gateway。这个目录被用来在写入到HDFS之前临时的保存乱序的写操作。对于每一个文件，乱序的写操作在超过一定的阀值（例如 1MB内存）后被转储。你需要确认目录有足够的空间。例如，如果程序上传10个文件，每一个100MB，建议这个目录有大约1GB的空间，以防最坏的情况，重新排序的写操作发生在每一个目录。这个属性被更新后，只有NFS Gateway需要重新启动。

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. <property>      
  2.         <name>dfs.nfs3.dump.dir</name>  
  3.         <value>/tmp/.hdfs-nfs</value>  
  4. lt;/property>  

 
3.       为了优化性能，建议rtmax被更新为1MB。但是，注意，这个1MB是一个客户端的分配，不是来自共享内存，因此，一个较大的值可能对读操作有不利影响，消耗很多内存。这个属性的最大值是1MB。
 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. <property>  
  2.   <name>dfs.nfs.rtmax</name>  
  3.   <value>1048576</value>  
  4.   <description>This is the maximum size in bytes of a READ request  
  5.     supported by the NFS gateway. If you change this, make sure you  
  6.     also update the nfs mount's rsize(add rsize= # of bytes to the   
  7.     mount directive).  
  8.   </description>  
  9. </property>  
  10. <property>  
  11.   <name>dfs.nfs.wtmax</name>  
  12.   <value>65536</value>  
  13.   <description>This is the maximum size in bytes of a WRITE request  
  14.     supported by the NFS gateway. If you change this, make sure you  
  15.     also update the nfs mount's wsize(add wsize= # of bytes to the   
  16.     mount directive).  
  17.   </description>  
  18. </property>  

4.      默认地，export可以被任何客户端挂载。为了更好的控制访问，用户可以更新下面的属性。配置的value包括机器的名字和访问权限，用空格分开。机器名字格式可以是一台主机，通配符，或者IPv4网卡地址。访问权限用rw或者指定机器的访问权限readwrite或者readonly。如果访问权限没有被提供，默认的是只读。条目用“；”分隔。例如“192.168.0.0/22 rw ; host*.example.com ;host1.test.org ro;”。这个属性被更新后，只有NFSGateway需要重新启动。

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. <property>  
  2.   <name>dfs.nfs.exports.allowed.hosts</name>  
  3.   <value>* rw</value>  
  4. </property>  

5.      自定义日志设置。为了得到NFS的debug 堆栈，用户可以编辑 log4j.property文件增加下面的内容。注意，debugtrace，特别是ONCRPC，可以非常冗长。

改变日志级别：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG  

获取更多ONCRPC请求的细节：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. log4j.logger.org.apache.hadoop.oncrpc=DEBUG  

Start and Stop NFS gateway service

需要启动3个守护进程提供NFS服务：rpcbind（或者portmap），mountd还有nfsd。NFS Gateway进程有nfsd和mountd进程。它共享HDFS根目录“/”为唯一的export。建议使用包含在NFS Gateway包里的portmap。即使NFS Gateway与portmap/rpcbind一起在大多数linux发行版中被提供，包含portmap的包也需要在一些linux系统像REHL6.2安装，因为rpcbind的bug。更多的细节可以在HDFS-4763中被找到。

1.      停止系统中的nfs/rpcbind/portmap服务（不同的Unix平台可能命令不同）：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. service nfs stop  
  2. service rpcbind stop  

2.      启动包含portmap的包（需要root权限）：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. hadoop portmap  
  2.  OR  
  3. hadoop-daemon.sh start portmap  

3.      开启mountd和nfsd

这个命令不需要root权限，但是，请确保启动Hadoop集群的用户与启动NFS Gateway的用户相同。

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. hadoop nfs3  
  2.      OR  
  3. hadoop-daemon.sh start nfs3  

注意：如果hadoop-daemon.sh脚本启动NFS Gateway，它的log可以在Hadoop的日志文件夹中被找到。

4.      停止NFS Gateway 服务。

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. hadoop-daemon.sh stop nfs3  
  2. hadoop-daemon.sh stop portmap  

Verify validity of NFS relatedservices

1.      执行下面的命令来验证服务是否正在运行：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. rpcinfo -p $nfs_server_ip  

你应该可以考到类似下面的输出：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. program vers proto   port  
  2.        100005    1   tcp   4242  mountd  
  3.        100005    2   udp   4242  mountd  
  4.        100005    2   tcp   4242  mountd  
  5.        100000    2   tcp    111  portmapper  
  6.        100000    2   udp    111  portmapper  
  7.        100005    3   udp   4242  mountd  
  8.        100005    1   udp   4242  mountd  
  9.        100003    3   tcp   2049  nfs  
  10.        100005    3   tcp   4242  mountd  

2.      验证HDFS命名空间是否可被export和挂载

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. showmount -e $nfs_server_ip  

 
你应该可以看到类似下面的输出：
 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. Exports list on $nfs_server_ip :  
  2.         / (everyone)  

Mount the export “/”

目前NFS V3只用TCP作为传输协议。不支持NLM，所以需要挂载选项“nolock”。建议使用hard mount。这是因为，当写进程被记录到NFS客户端的内核之后，即使在客户端发送所有的数据到NFS Gateway之后，它还是可能花费NFS Gateway一些额外的时间来传输数据到HDFS。

如果必须使用soft mount，用户应该给他一个相对长的timeout（至少不少于主机上默认的timeout）。

用户可以像下面这样mount HDFS的命名空间：

 

  

   

    [html] 
    view plain
     copy
    

     
    在CODE上查看代码片
    派生到我的代码片
   

  

  
  1. mount -t nfs -o vers=3,proto=tcp,nolock $server:/  $mount_point  

人后用户可以将HDFS作为本地文件系统的一部分访问，除了hard link和random write不支持。

User Authentication and mapping

本Hadoop发行版中的NFS Gateway使用的AUTH_UNIX风格的认证。当NFS客户端的用户访问挂载点时，NFS客户端将UID传给NFS Gateway。NFS Gateway做一个检查，以从UID中需找用户名，然后将用户名与HDFS请求一起传给HDFS。例如，如果NFS客户端的当前用户是admin。为了使用用户hdfs访问HDFS，当访问挂载目录时，你需要在客户端操作系统上切换当前用户到hdfs。

系统管理员必须确定NFS客户端主机上的用户有相同的用户名和UID。如果是用同一个用户管理系统（例如LDAP/NIS）来创建和分发用户到HDFS节点和NFS客户端节点的话，这通常不是一个问题。在用户账户在不同主机上被手工创建的情况下，你可能需要修改NFS客户端和NFS Gateway主机上的UID（例如，"usermod -u 123 myusername"）以使两边系统。更多RPCAUTH_UNIX的技术细节可在RPC Specification中被找到。20.HDFS NFS Gateway

利用NFS Gateway将HDFS挂载至本地目录
gmHappy
05-14 772
一、需求描述 装上了hadoop，hdfs提供了很大的空间，然后有个问题，我外部很多linux服务器中很多文件如何上传到hdfs？ 先sftp到一个hdfs客户端，然后再hadoop fs -put 上去？ 二、解决方案 CDH中有2个组件可以帮忙：NFS Gateway和HttpFS 本文此次介绍NFS Gateway的安装与使用 三、具体实现 3.1 离线下载nfs安装包 yum -y install nfs-utils --downloadonly --downloaddir /root/nfs
HDFS NFS Gateway使用
大明湖里有蛤蟆
06-03 2303
hadoop的hdfs支持nfs挂载，挂载的思路是这样的。首先在集群中选择一个节点作为nfs的server，然后在集群外的节点作为nfs的客户端上进行挂载。 集群外的节点为nfs的客户端，集群里面的nfs server的节点是nfs的服务器端，同时也是hdfs的客户端。
Hadoop HDFS NFS GateWay部署深入详解
铭毅天下Elasticsearch
03-12 1万+
目的：通过挂载的方式，可以类似访问本地磁盘的方式一样的访问Hadoop文件，简单、方便、快捷。0.系统版本&hadoop版本 1）系统版本[root@WEB-W031 sbin]# cat /etc/issue CentOS release 5.8 (Final)2）Hadoop版本[root@WEB-W031 /]# hadoop version Hadoop 2.7.2 Subversion
HDFS NFS Gateway(环境配置，超级详细！！)
菜菜的博客
12-21 1万+
​ HDFS NFS Gateway是Hadoop Distributed File System（HDFS）中的一个组件，它允许客户端通过NFS（Network File System，网络文件系统）与HDFS进行交互。具体来说，HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统，支持上传，下载，删除，追加内容，有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用，以及配置检查NFS是否正常。
HDFS NFS Gateway安装配置详解
热门推荐
雕刻时光的大数据专栏
08-05 1万+
-by liuweibj 1.概述 HDFS NFS Gateway能够把HDFS挂载到客户机上作为本地文件系统来管理，支持NFSv3。当前版本的NFS Gateway有如下可用特性。 l  用户在支持NFSv3的操作系统上可以通过本地文件系统浏览HDFS。 l  使用NFS Gateway 用户能够直接下载和上传HDFS文件到本地文件系统中。 l  用户可以通过挂载点直接传输数据流至H
大数据-HDFS客户端_NFS挂载到windows本地
m0_74462339的博客
02-09 677
这取决于我们之前配置虚拟机时所配置的网络地址：当我们把子网ip设置为192.168.88.0,网关ip设置为192.168.88.2时，就会自动把虚拟网卡VMnet8的ip设置为192.168.88.1。
Hadoop大数据应用：NFS网关 连接 HDFS集群
2401_84159813的博客
04-27 329
（2）查看jpshadoop节点node01节点node02节点node03节点。
HDFS NFS数据挂载功能
renzhewudi77的博客
12-12 2211
目的：利用NFS，将HDFS底层文件共享到本地操作系统 本篇文章主要介绍HDFS 的NFS网关配置及配置之后读写性能问题，网上有比较多的参考资料，也都很有用。但我在配置过程中，遇到许多其他隐藏的坑，例如，首先我不知道NFS是什么，我就开始配，导致简单的配置出错我都弄了很久。为了让跟我一样的小伙伴们避免踩同样的坑，我从Linux NFS到HDFS NFS配置，再到配置好之后，数据读写性...
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
铭毅天下Elasticsearch
03-17 4770
0.前提有三台机器：10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器。 10.1.111.13为非Hadoop机器。目前查到的资料里面显示HDFS NFS GateWay的挂载方式为： 参考：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-
利用hdfs gateway挂载NFS到本地
qq_42936727的博客
04-07 703
HDFS提供了基于NFS(Network File System)的插件，可以对外提供NFS网关，供其它系统挂载使用。我们通过NFS网关可以将hdfs文件系统挂在为网络磁盘的形式，这样就可以像操作本地磁盘一样操作上面的数据。第一个配置项表示允许hadoop用户代理任何其他用户组，第二个标识允许代理服务器的请求。2.在hdfs-site.xml中新增如下项。·上传、下载、删除、追加内容。
hdfs-整合nfs 官文翻译
DCHAO的博客
11-09 408
nfs服务可以让远程客户端以访问本地文件的形式访问远程hdfs目录 官文 overview nfs gateway支持NFSv3，将hdfs目录挂载到远程客户端的本地文件系统中。主要有以下场景： 使用NFSv3 client浏览hdfs目录 下载 上传 用户可以通过挂载点直接将数据流传输到HDFS。支持文件追加，但不支持随机写 The NFS gateway machine needs the same thing to run an HDFS client like Hadoop JAR files,
HDFS添加 NFS Gateway 角色实例启动失败问题及解决办法
u011250186的博客
12-17 85
HDFS添加 NFS Gateway 角色实例启动失败问题及解决办法
对hadoop中各个组件的简单描述
warm_day的博客
02-26 1750
英语理解能力好的童鞋可以参考（这里有详细的各个hadoop组件的名称及用途）： http://www.cloudera.com/documentation/manager/5-0-x/Cloudera-Manager-Managing-Clusters/cm5mc_hive_service.html#xd_583c10bfdbd326ba-204beb9-13ef1573a9e–7ff6__sec...
启动NFS Gateway失败
Cleoprtra.L的博客
08-02 1067
错误展示 原因 解决方法 # yum -y install rpcbind # systemctl start rpcbind # echo "systemctl start rpcbind" &gt;&gt; /etc/rc.d/rc.local # chmod +x /etc/rc.d/rc.local
HDFS NFS Gateway 无法启动、挂载失败问题（CM集群安装HDFS）
u011250186的博客
12-17 78
HDFS NFS Gateway 无法启动、挂载失败问题（CM集群安装HDFS）
NFS Gateway 问题
最新发布
03-16
### NFS Gateway 错误解决方案 #### 启动必要的服务 在部署 NFS Gateway 的主机上，如果遇到启动失败的情况，可能是因为缺少 `portmap` 或者 `rpcbind` 服务的支持。因此，在尝试启动 NFS Gateway 角色实例之前，请...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值