python3操作hdfs库中报错问题总结

原创

于 2021-03-09 08:51:38 发布 · 3.3k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python3 #hdfs #hadoop #dfs #python3操作hdfs

本文总结了在使用Python3操作HDFS时可能会遇到的权限问题和Name Node安全模式问题，包括详细的错误信息及对应的解决办法。首先，为了解决权限问题，需要对相关文件进行权限赋予和配置文件的修改，如调整hdfs-site.xml配置。其次，如果遇到Name Node处于安全模式导致的错误，解决方案是关闭安全模式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错信息：

hdfs.util.HdfsError: Permission denied: user=dr.who, access=WRITE, inode="/user/hadoop/output":hadoop:supergroup:drwxr-xr-x

解决方法：

因为权限的问题，需要修改配置文件和赋予权限：
1.赋予权限

hadoop fs -chmod 777 /user/hadoop

2.修改配置文件

hdfs-site.xml

<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

报错信息：

hdfs.util.HdfsError: Cannot create file/user/hadoop/output/result.txt. Name node is in safe mode.

解决方法：

因为Name node处于安全模式，需要关闭安全模式

hadoop dfsadmin -safemode leave

报错信息：

requests.exceptions.ConnectionError: HTTPConnectionPool(host='ubuntu

最低0.47元/天解锁文章

200万优质内容无限畅学