eclipse远程上传hdfs文件报错

本文介绍了在Windows环境中使用Eclipse连接Linux下的HDFS文件系统时遇到的权限问题及三种解决方法:通过命令行调整HDFS权限、修改Eclipse的VM arguments设置以及更改hdfs-site.xml配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在windows下使用eclipse远程上传至linux下的hdfs文件系统报错:

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=cmaster, access=WRITE,inode="":root:supergroup:rwxr-xr-x

解决办法:

方法1:通过命令行给hdfs的root权限:hadoop fs -chmod 777

方法2:   通过修改VM arguments环境变量

右键项目-》run configuration-》Arguments-》VM arguments

添加:-DHADOOP_USER_NAME=***(***代表你的linux环境下用户名,我的cmaster)

方法3:修改hdfs-site.xml配置参数


<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

接下来执行:stop-all.sh 然后重新: start-all.sh 接下来,刷新eclipse中的DFS,然后就可以随心所欲的从windows下面传文件到HDFS上面。


1.向 HDFS上传任意文本文件,如果指定的文件HDFS 中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件; 2. 从 HDFS 中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名; 3.将 HDFS 中指定文件的内容输出到终端中; 4. 显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息; 5. 给定 HDFS 中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息; 6. 提供一个 HDFS 内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建日录; 7.提供一个 HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录; 8.向 HDFS 中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾; 9. 删除 HDFS 中指定的文件; 10.在 HDFS 中,将文件从源路径移动到目的路径。 用Java API写,我的hadoop是3.3.6版本,那我是开伪分布式还是全分布式hadoop?要是在全分布式上是不是还要搭建eclipse?如果要搭建怎么做?我只在伪分布式上搭建了eclipse,直接用伪分布式的话追加文件会不会报错
03-22
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值