解决windows下远程调试hadoop权限问题jar包

最新推荐文章于 2019-04-24 18:02:16 发布
原创 最新推荐文章于 2019-04-24 18:02:16 发布 · 202 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #windows

本文详细介绍了在Windows环境下解决远程调试Hadoop时遇到的权限问题，并通过注释FileUtil类中的checkReturnValue方法成功解决了该问题。此外，还分享了重新编译hadoop-core-1.2.1的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

解决windows下远程调试hadoop权限问题（附jar包）:
ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:）
重新编译了hadoop-core-1.2.1,注释了包中org.apache.hadoop.fs下FileUtil.class中的checkReturnValue的验证方法
java远程Hadoop_windows下eclipse远程连接hadoop集群开发mapreduce
weixin_31815843的博客
02-17 740
转载请注明出处，谢谢2017-10-22 17:14:09之前都是用python开发maprduce程序的，今天试了在windows下通过eclipse java开发，在开发前先搭建开发环境。在此，总结这个过程，希望能够帮助有需要的朋友。用Hadoop eclipse plugin，可以浏览管理HDFS，自动创建MR程序的模板文件，最爽的就是可以直接Run on hadoop。1、安装插件下载ha...
IDEA(2019.3)远程调试HADOOP(2.7.1)配置过程：WordCount实例
Personal Knowledge Management
05-30 2516
目的：在Idea上直接调试虚拟机中的HDFS，执行MapReduce，不需要将jar包上传到hadoop目录下再运行 配置环境： 虚拟机 hadoop 2.7.1 本地 hadoop 2.7.1 IDEA 版本 2019.3.3 Maven 3.6.3 1. 修改虚拟机hadoop的etc/hadoop/core-site.xml 需要修改为hdfs://IP地址：9000 (主机名也可以，如果使用IP地址建议将IP地址设置为静态IP) 2. 使用xftp 等工具将HADOOP etc/hadoop目录下
hadoop2.6(x64)Win7上远程调试hadoop 集群
11-13
hadoop2.6(x64)Win7上远程调试hadoop 集群
windows远程调试hadoop权限问题
gcangle的专栏
12-09 3300
为了开发方便想要直接在windows下开发，遇到了访问权限的问题。于是搜索了下解决方案，大约有两种 1 不检查用户权限  修改conf/core-site.xml，不检查权限 将 dfs.permissions属性修改为false 这种办法过于粗暴，仅仅开发环境可以使用。说以需要采用别的方法。 2 修改用户权限 这种方法文雅了很多，而且更加安全。我们观察hadoop hdfs中的文件发现
hadoop windows远程调试
h335146502的专栏
03-29 299
前言 因为之前工作都是使用的ubuntu系统，所以调试一直是在本地机器根本不会使用远程调试。但是新来的同事习惯使用window的系统，希望能够远程调试hadoop代码。所以研究了下调试方法。 一，远程测试集群配置 在linux 远程测试集群进行如下配置 export HADOOP_CLIENT_OPTS=-agentlib:jdwp=transport=dt_soc...
实战 windows7 下 eclipse 远程调试 linux hadoop
weixin_33827965的博客
04-15 221
2019独角兽企业重金招聘Python工程师标准>>> ...
windows Eclipse远程调用Hadoop
06-30
#### 二、Eclipse 远程调试 **2.1 下载与安装 hadoop-eclipse-plugin 插件** - **插件介绍**： - `hadoop-eclipse-plugin` 是一款专为 Eclipse 设计的插件，能够实现在 IDE 内查看 HDFS 的目录结构及文件内容。 ...
hadoop-core-1.2.1.jar
09-02
解决windows下远程调试hadoop权限问题（ ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:）重新编译了hadoop-...
【@deprecated】Hadoop3，IDEA远程访问集群进行调试，Scala+Java混合开发
王某的博客
04-24 2037
1-1、擦除编码 https://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html 1-2、Hadoop 3 端口号的改变 1-3、支持2个以上的NameNode https://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist...
关于win7系统远程调试Hadoop时遇到的问题
蜗牛Mia的专栏
05-07 436
首先遇到的问题按照这篇文章http://www.360doc.com/content/15/0202/09/20466010_445634294.shtml解决了部分问题,而且在bin目录中已经添加了网友们提供的Hadoop-2.6.0 bin目录下的hadoop.dll ,libwinutils.lib,和winutils.exe。 但“调试时控制台没有日志显示，实际上又可以输出正确结果”的问
hadoop学习笔记2.windows上远程调试MapReduce
H U C
07-29 1459
要调试MapReduce首先的安装Eclipse，然后再安装Hadoop插件到Eclipse中 1.安装Hadoop插件到Eclipse 1.1  安装hadoop-eclipse-plugin-1.2.1.jar 具体安装步骤就不细说了，简单的说一下 首先安装Eclipse 然后把hadoop-eclipse-plugin-1.2.1.jar放到eclipse安装目录的plugs目录下
Window下java -jar *.jar需要管理员执行的解决办法
我不洗澡
09-15 6179
WINDOW下使用java -jar *.jar命令时，有时会弹出需要管理员运行的提示出来，而jar文件直接打开，是没有管理员运行的选项的 解决办法 编辑一个1.bat脚本，即新建1.txt文件，后缀名改为bat即可 里边内容编辑为java -jar *.jar，保存 右键1.bat，以管理员允许打开即可
windows10下使用idea远程调试hadoop集群
chenguangchun1993的博客
09-29 5963
在windows10环境下，使用idea搭建maven项目链接Linux上的hadoop集群。 注意事项：           保证hadoop集群的用户与Windows的用户一致，不然后报错，错误信息我忘了，反正很麻烦 1. 下载hadoop-2.6.0.tar.gz，解压到本地文件夹：D:\configureSoftWare\hadoop-2.6.0 2. 配置hadoop环境变量：
eclipse集成使用Hadoop插件运行WordCount程序
weixin_30411239的博客
03-18 138
云地址:https://pan.baidu.com/s/1CmBAJMdcwCxLGuCwSTcJNw密码:qocw 前提条件:启动集群 ，配置好JDK和hadoop环境变量 有必要删除 虚拟机中的output文件 使用 [root@master sbin]# hadoop fs -rm -r /output Deleted /output [root@master sbin]#...
win10+hadoop2.9.1+hive2.2.0测试环境部署
lanxuxml的专栏
08-13 1795
部署安装hadoop2.9.1后下载hive2.2.0解压到安装目录，本文为E:\post\hive\apache-hive-2.3.3-bin     PS：经下载发现2.2.0以后没有win相关的cmd命令     PS：hadoop的配置相对简单，本文不再赘述 环境变量     总共需要配置四处环境变量（系统变量，如果不配置此4处将无法运行hive，被这里坑了很久） HIVE_BIN...
windows下调试hdfs时，没有权限解决办法
小木的博客
06-27 1742
如果用idea编辑器，运行mapreduce或者spark等程序，如果出现：Permission denied: user=Adminis, access=WRITE, inode="/":root:supergroup:drwxr-xr-x这个原因是没有访问hdfs的权限，解决办法很简单：进入name node中的配置文件hdfs-site.xml中，在</configuration&gt...
Hadoop Jar 运行HBase类的报错，解决方法
大数据开发
09-30 1803
问题如下： [root@qf01 ~]# hadoop jar testHBase-1.0-SNAPSHOT.jar com.qf.hbase.hbasewordcount.HBaseWordCountApp /tmp/hbase-root/hbase/data/default/wordcount /outdata/hbasewordcount Exception in thread "main...
Hadoop开发工具包压缩包指南
- Hadoop-Eclipse-plugin插件使得在Eclipse IDE中可以运行和调试Hadoop MapReduce程序、查看HDFS文件系统等操作。 - 使用Hadoop-Eclipse-plugin，开发者可以不离开Eclipse环境，直接在本地或者远程Hadoop集群上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值