Cannot access: /. The HDFS REST service is not available. " ""

本文详细介绍了当遇到Hue无法访问HDFS的问题时,如何通过启动httpfs服务和正确配置httpfs-site.xml及core-site.xml文件来解决。包括了具体的配置步骤和参数,确保Hue管理员能够顺利访问HDFS。

1.Cannot access: /user/admin. The HDFS REST service is not available. " "" 注:您是 Hue 管理员,但不是 HDFS 超级用户(即 ""hdfs"")。"""

般是Httpfs没有启动

在有nameNodede 机器上启动 httpfs服务 在hadoop家目录()安装目录)  sbin/httpfs.sh start   

注:hadoop下的配置文件中的httpfs-site.xml文件添加配置

   <property>
        <name>httpfs.proxyuser.hue.hosts</name>
        <value>*</value>
    </property>
                                        
    <property>
        <name>httpfs.proxyuser.hue.groups</name>
        <value>*</value>
    </property>

2、Cannot access: /user/admin.  " "" 注:您是 Hue 管理员,但不是 HDFS 超级用户(即 ""hdfs"")。"""

这个错误和上面不一样上面的是111错误,这个是500错误
只需在Core-site.xml中添加如何配置,有时配置root也可以,为防止后期出现错误,最后都配置上,配置完成后重启一下namenode节点就可以,配置完成后,拷贝到其他集群节点

  <property>
                <name>hadoop.proxyuser.admin.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.admin.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hue.hosts</name>
                <value>*</value>
        </property>
 
        <property>
                <name>hadoop.proxyuser.hue.groups</name>
                <value>*</value>
        </property>
 
        <property>
                <name>hadoop.proxyuser.httpfs.hosts</name>
                <value>*</value>
        </property>
 
        <property>
                <name>hadoop.proxyuser.httpfs.groups</name>
                <value>*</value>
        </property>

 

在 Hadoop 生态系统中,当遇到类似 `File does not exist` 的错误时,通常表示指定的 HDFS 路径不存在或访问路径时出现了权限问题。对于给定的 HDFS URI `hdfs://192.168.131.131:9000/characters.txt`,可以按照以下方式检查和解决路径访问问题: ### 检查 HDFS 路径是否存在 可以通过命令行工具 `hadoop fs` 来验证目标路径是否存在: ```bash hadoop fs -ls hdfs://192.168.131.131:9000/ ``` 如果该路径下没有列出 `characters.txt` 文件,则说明文件确实不存在于 HDFS 中。 ### 解决 HDFS 文件访问问题 #### 1. 确认 HDFS 服务状态 确保 NameNode 和 DataNode 都处于运行状态。可以通过访问 NameNode 的 Web UI(通常是 `http://192.168.131.131:50070`)来查看集群的状态和健康状况[^2]。 #### 2. 检查文件上传过程 如果文件应该存在但未被找到,请检查文件上传到 HDFS 的过程是否完整执行。例如,使用如下命令将本地文件上传到 HDFS: ```bash hadoop fs -put /local/path/to/characters.txt hdfs://192.168.131.131:9000/ ``` 确认命令是否成功执行,并且没有中断或报错。 #### 3. 检查 HDFS 目录权限 HDFS 有类似于 Linux 文件系统的权限模型。可以使用以下命令检查目录权限: ```bash hadoop fs -ls hdfs://192.168.131.131:9000/ ``` 如果当前用户没有权限访问该路径,可以更改文件或目录的所有者或权限: ```bash # 更改文件所有者 hadoop fs -chown user:group hdfs://192.168.131.131:9000/characters.txt # 更改文件权限 hadoop fs -chmod 755 hdfs://192.168.131.131:9000/characters.txt ``` #### 4. 检查 Spark 或其他应用配置 如果是通过 Spark 提交作业时出现此问题,请检查 Spark 应用程序代码中的路径是否正确,并确保提交作业时相关资源文件已正确上传到 HDFS。此外,也可以参考 Spark Web UI(如 `http://master-ip:4040`)以获取更多关于失败任务的信息。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值