Webhdfs VS Httpfs

最新推荐文章于 2024-04-28 21:45:00 发布

weixin_33720956

最新推荐文章于 2024-04-28 21:45:00 发布

阅读量177

点赞数

CC 4.0 BY-SA版权

文章标签： json python 大数据

原文链接：https://my.oschina.net/guol/blog/898023

本文详细介绍了Hadoop环境下WebHDFS与HttpFS的配置与使用方法，包括如何通过配置core-site.xml启用HttpFS代理用户权限，以及如何利用curl命令进行文件操作。此外还对比了WebHDFS与HttpFS在文件传输过程中的不同表现。

为什么80%的码农都做不了架构师？>>>

HTTPFS：

core-site.xml

<property>  
    <name>hadoop.proxyuser.httpfs.hosts</name>  
    <value>*</value>  
</property>  
<property>  
    <name>hadoop.proxyuser.httpfs.groups</name>  
    <value>*</value>  
</property>

service hadoop-httpfs start

curl 'http://10.205.151.148:14000/webhdfs/v1/tmp?user.name=apprun&op=DELETE' | python -m json.tool
https://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-hdfs/WebHDFS.html?_ga=2.150097843.402918135.1494227714-1902937800.1476434772

curl -i -X DELETE "http://10.205.151.148:50070/webhdfs/v1/user/etl/test.txt?user.name=etl&op=DELETE"

WEBHDFS：+kerberos

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.webhdfs.user.provider.user.pattern</name>
  <value>^[A-Za-z0-9_][A-Za-z0-9._-]*[$]?$</value>
</property>

http://<active-namenode-server>:<namenode-port>/webhdfs/v1/<file-path>?op=OPEN

WebHDFS需要访问集群的所有节点，并且当读取某些数据时，它直接从该节点发送，而在HttpFs中，单个节点将作用类似于“网关”，并将作为单点数据传输到客户端节点。因此，在大型文件传输过程中，HttpF可能会被阻塞，

转载于:https://my.oschina.net/guol/blog/898023