在eclipse中配置好hadoop的插件后使用DFS遇到的问题

本文详细介绍了在使用Eclipse运行Map/Reduce任务时,如何配置环境以解决无法向HDFS文件系统写入的问题。通过修改配置文件hdfs-site.xml中的dfs.permissions属性,将该属性值改为false,并确保所有操作在正确配置的环境下进行,以避免在Eclipse下编写的程序无法在Hadoop上运行的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注意:MR Master和DFS Master配置必须和mapred-site.xml和core-site.xml等配置文件一致

打开Project Explorer,查看HDFS文件系统。

点击红色圈圈,会弹出对话框Open Perspective,选择Map/Reduce,确定即可:


强调这个的原因是,一些初学者可能没有注意到,eclipse默认情况下打开的Perspective是java,而此处运行的是Map/Reduce,故一定要注意。我就是在这里被难住了。

配置过程中出先的问题:

在eclipse中无法向文件HDFS文件系统写入的问题,这将直接导致eclipse下编写的程序不能在hadoop上运行。

  • 打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。
            <property>
                <name>dfs.permissions</name>
                <value>false</value>
            </property>
        改完需要重启HDFS;
  • 最简单的就是刚才说的登录桌面启动eclipse的用户本身就是hadoop的管理员
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值