Hue与HDFS整合指南-优快云博客

本文档详细介绍了如何将Hue与HDFS进行整合，包括Hue的安装步骤、配置Hadoop的相关XML文件，解决启动测试过程中的用户权限问题，以及如何调整配置以允许Hue访问HDFS。

Hue安装

关于Hue的编译和安装详见我的另一片博客：https://blog.youkuaiyun.com/DataIntel_XiAn/article/details/103543368

配置hadoop

hdfs-site.xml

	<!-- Enable WebHDFS (REST API) in Namenodes and Datanodes. -->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>

core-site.xml

	<!-- hue代理用户 -->
	<property>
		<name>hadoop.proxyuser.hue.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hue.groups</name>
		<value>*</value>
	</property>

	<!-- 任意节点使用hadoop集群的代理用户hadoop都能访问hdfs集群 -->
	<property>
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<!-- 代理用户的组所属 -->
	<property>
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>*</value>
	</property>

httpfs-site.xml

	<property>
		<name>httpfs.proxyuser.hue.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>httpfs.proxyuser.hue.groups</name>
		<value>*</value>
	</property>

配置Hue

[hadoop]
	fs_defaultfs=hdfs://hadoop:8020
	webhdfs_url=http://hadoop:50070/webhdfs/v1
	hadoop_conf_dir=/home/hadoop/hadoop/etc/hadoop

启动测试

除了正常启动集群意外还需要启动（httpfs.sh start）

用户权限问题

Cannot access: /user/hadoop. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".

403 Client Error: Forbidden for url: http://hadoop:50070/webhdfs/v1/user/hadoop?op=GETFILESTATUS&user.name=hue&doas=hadoop {"RemoteException":{"exception":"SecurityException","javaClassName":"java.lang.SecurityException","message":"Failed to obtain user group information: org.apache.hadoop.security.authorize.AuthorizationException: User: hue is not allowed to impersonate hadoop"}} (error 403)

需要修改配置文件的默认超级用户，然后重启

  # This should be the hadoop cluster admin
   default_hdfs_superuser=hadoop

再次登录，查看HDFS发现已经正常，至此Hue整合HDFS已经成功！