WebHdfs API使用和开放WebHdfs使用后权限控制

最新推荐文章于 2023-04-24 21:00:46 发布

原创

最新推荐文章于 2023-04-24 21:00:46 发布 · 3.9k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何使用WebHdfs API进行文件和目录操作，包括创建、写入、追加、读取、重命名、删除及查看文件状态。同时，针对开放WebHdfs带来的安全隐患，文章讨论了权限控制的需求，并提供了修改源码来限制不安全操作的方法，以确保只有特定用户能进行读取操作，从而保护数据安全。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试集群1 namenode：vm-10-142-164-18
测试集群2 新64G测试集群

文件和目录操作

创建和写文件
1、命令行执行 : curl -i -X PUT “http://vm-10-142-164-18:50070/webhdfs/v1/user/hadoop/chy?op=CREATE”
执行完毕后会出现
HTTP/1.1 307 TEMPORARY_REDIRECT
Cache-Control: no-cache
Expires: Wed, 07 Sep 2016 06:37:43 GMT
Date: Wed, 07 Sep 2016 06:37:43 GMT
Pragma: no-cache
Expires: Wed, 07 Sep 2016 06:37:43 GMT
Date: Wed, 07 Sep 2016 06:37:43 GMT
Pragma: no-cache
Content-Type: application/octet-stream
Location: c
Content-Length: 0
Server: Jetty(6.1.26)

2、根据上步骤中执行完后出现的Location执行 : curl -i -X PUT -T /tmp/write “http://vm-10-142-164-25:50075/webhdfs/v1/user/hadoop/chy?op=CREATE&namenoderpcaddress=vm-10-142-164-18:9000”
此步骤中的主机名为Location中的主机名，同时需要指定namenoderpcaddress，否则会出现 401 bad request错误。
执行完毕后出现
HTTP/1.1 100 Continue

HTTP/1.1 201 Created
Cache-Control: no-cache
Expires: Wed, 07 Sep 2016 06:40:26 GMT
Date: Wed, 07 Sep 2016 06:40:26 GMT
Pragma: no-cache
Expires: Wed, 07 Sep 2016 06:40:26 GMT
Date: Wed, 07 Sep 2016 06:40:26 GMT
Pragma: no-cache
Content-Type: application/octet-stream
Location: webhdfs://vm-10-142-164-18:9000/user/hadoop/chy
Content-Length: 0
Server: Jetty(6.1.26)
——————————表示执行成功，在vm-10-142-164-18所属的集群中可以用hadoop fs -ls 命令查看到已经建立的新文件 chy 内容为执行指令机器本地文件 /tmp/write 中的内容

追加
1、命令行执行：curl -i -X POST “