idea本地调试hadoop 遇到的几个问题

原创 于 2023-12-07 16:19:27 发布 · 891 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#intellij-idea #hadoop #java

文章讨论了DEA中MapReduce遇到toString调用异常的问题，解决方案包括关闭IDEA中的相关视图，并在代码中设置正确的HDFS用户，如HADOOP_USER_NAME=hadoop。

1.DEA对MapReduce的toString调用报错：Method threw ‘java.lang.IllegalStateException‘ exception. Cannot evaluate org.apache.hadoop.mapreduc

解决方法：关闭 IDEA 中的启用“ tostring() ”对象视图

2.代码和hdfs路径都对的情况下，程序始终没有执行成功

解决方法：有可能是hdfs的用户不正确，需要在代码中设置正确的hdfs用户，比如我的用户是hadoop,那么我需要在代码一开始加上

System.setProperty("HADOOP_USER_NAME", "hadoop");//这一行一定要

sunweiking
关注
[Hadoop]Hadoop本地调试
SmartSi
06-08 1767
1. Maven依赖dependency> groupId>org.apache.hadoopgroupId> artifactId>hadoop-clientartifactId> version>2.7.2version> dependency> dependency> groupId>junitgroupId> artifactId>junitart
java.lang.IllegalStateException异常产生的原因及解决办法
热门推荐
一万年太久 - 只争朝夕
02-27 40万+
问题描述： 错误类型大致为以下几种： java.lang.IllegalStateException：Cannot   forward   a   response   that   is   already   committed  IllegalStateException：response already commited  IllegalStateException：get
idea 报错 method threw 'java.lang.noclassdeffounderror' exception. cannot evaluate tostring()
悟已往之不谏，知来者之可追
05-20 2万+
报错 原因以及解决 idea 默认 使用 toString 方法进行view 值，但是存在一些类没有重写这个方法，所以无法预览。 可以自行更改，View as->object 即可。
Hadoop 本地调试
Xu_Haihua的专栏
02-25 1884
1、调试本地代码 mapreduce.framework.name local 如果远程调试 value为yarn，本地调试改成local 2、读取本地数据  在调试过程中，读取远程服务器数据效率降低，可将数据复制到本地c盘下，将core-site.xml 中的fs.defaultFS配置注释掉，job就会读取本地数据而不是hdfs数据 --> fs.default
IDEA远程连接虚拟机Hadoop&Hbase失败
Brandon_的博客
03-09 1117
IDEA远程连接虚拟机Hadoop&Hbase失败
idea-hadoop-plugins.zip
07-13
这个插件集合可能是为了帮助开发者在IDEA中更好地管理和调试Hadoop相关项目。 描述中提到的链接是一个优快云博客文章，提供了安装这些插件的详细步骤。这暗示了该压缩包可能包含了多个插件，并且用户在使用前需要按照...
Hive本地调试
Lucene/Solr解密
02-11 2119
一准备 二事情远没这么简单呢 1 winutilsexe找不到 2 系统找不到指定的文件 3 系统找不到指定的路径 三这样就可以了吗 1 UnsatisfiedLinkError 2 如果还不行 四结尾 虽然已经很习惯看静态代码了，但是这种方式始终很不方便，需要来来回回翻找代码不说，还得自己分析每个变量的值、和路径。因此决定花点时间让代码在IDE上跑起来，然而这个过程在...
idea本地和远程测试hadoop和spark
u012089465的博客
07-18 1465
两份代码的位置： 链接：https://pan.baidu.com/s/1cZLKhuYCnCJunsbs89CVnQ 密码：qwwy wordcount_s====>spark代码 wordcount====>hadoop代码 hadoop的代码： 1.本地运行： 代码： package com.itstar; import org.apache.hadoop.con...
Hadoop本地调试进展：NativeIO代码优化中
针对Hadoop的本地调试NativeIO，可以考虑以下几个方面的知识点： 1. 调试环境的准备：确保安装了JDK，并配置好Java环境变量。还需要下载并配置Hadoop环境，包括安装Hadoop的各个模块和相关依赖。 2. 配置Hadoop...
IntelliJ IDEA搭建Hadoop开发环境（下）
weixin_43311978的博客
04-18 3285
HadoopIntellijPlugin 插件还没安装好的可以参考这篇文章，IntelliJ IDEA搭建Hadoop开发环境（上），安装好插件后，下一步就是导入 hadoop 的依赖包，这些包可以在 hadoop 的 share/hadoop 目录下找到，这里以经典的 WordCount 程序来进行演示 1、新建 maven 项目 输入 GroupId 和 ArtifactId，然后 Next...
hadoop本地调试MR
11-04
IDEA hadoop本地调试MR windows-hadoop-bin 的压缩包，适合hadoop2.7.2以上，而且有详细的安装环境文档和错误的处理，一次通过
hadoop本地运行模式调试
daxun0631的博客
06-10 377
一：简介 　　最近学习hadoop本地运行模式，在运行期间遇到一些问题，记录下来备用；以运行hadoop下wordcount为例子。 　　hadoop程序是在集群运行还是在本地运行取决于下面两个参数的设置，第一个参数用来设置mr程序要在yarn集群中执行，第二个参数设置yarn集群的主节点地址。 hadoop默认情况下是在window本地运行。 　　conf...
Hadoop单机（本地）模式调试
qq_41293418的博客
03-07 713
了解Hadoop中常见概念。 学会Hadoop单机模式的安装及设置。 前提条件：已经安装好linux虚拟机，以ubuntu为例。 1.下载JDK解压并配置环境变量： JDK下载地址https://www.oracle.com/java/technologies/javase-jdk13-downloads.html 选择第一个Debin安装包（Centos选择PRM包） 下载后文件应该在下载...
Hadoop系列 - 本地调试代码（不使用jar包）
weixin_36985855的博客
12-01 323
问题 最近学习Hadoop过程中遇到这样一个问题：本地开发mapreduce程序，如果mapreduce到输入和输出都是设置本地，那么是可以进行本地Debug的。但是在我把输入源设成服务器的HDFS，输出设为HBase时，发现应用启动就报某个mapper或Outputformat类找不到；经过几天摸索，终于找到解决办法； 解决方法 项目配置文件mapred-site.xml增加配置： <pr...
Windows本地Hadoop环境及Idea调试
小刘的博客
03-22 5730
Windows本地Hadoop环境及Idea调试 前提需要 所需要的文件 1.Hadoop 2.Java 3.替换文件 本机用的Hadoop是hadoop2.7.2，Java是1.8.0_202 替换文件下载地址：https://github.com/cdarlint/winutils Java环境安装在本地D:\software\Java\jdk1.8.0_202 Hadoop环境安装在本地D:\Hadoop\hadoop 配置环境变量 搜索栏搜索环境变量，并双击打开 正在上传
hadoop本地调试模式，测试 mapreducer
a2615381的专栏
04-05 4321
这次使用的是  win下开发 MR代码，可以进行debug模式进行调试，当没有问题的时候，可以修改一下源文件名 ，然后上传到linux运行 基本数据 dept文件内容： 10,ACCOUNTING,NEW YORK 20,RESEARCH,DALLAS 30,SALES,CHICAGO 40,OPERATIONS,BOSTON   emp文件内容： 7369,SMITH,CL
Hadoop本地调试环境搭建
05-20 656
Hadoop本地debug
IDEA报错：不能解决符号 ‘hadoop‘
shenpkun的博客
04-21 3137
如果代码中出现了符号 ‘hadoop’ 无法解决的错误，那么很有可能是因为 IDEA 没有正确配置 Hadoop 环境变量。
hadoop2.6.0本地调试环境搭建
稼轩
03-06 545
首先我先说一下我搭建环境的最终目的, 我是想本地运行MR, 本地调试, 不提交给yarn, 直接本地跑MR, 连接的是远程的Hbase集群, 结果也会保存到远程Hbase 注: 我说的是在我的电脑调试成功的方法, 每个人的问题原因都不同, 只可参考, 照做不一定会成功的, 我就是看了N篇博客, 照做没一个成功的, 然后自己摸索的方法 1. 解压安装包之类的就不说了 2. 环境变量HAD...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值