IDEA调试hadoop源码方法

最新推荐文章于 2023-07-17 17:34:16 发布
原创 最新推荐文章于 2023-07-17 17:34:16 发布 · 1.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在IDEA中调试Hadoop源码，包括处理导入项目后的各种错误，如找不到主类的问题，以及如何成功调试ResourceManager。通过将编译后的Hadoop代码导入IDEA，调整模块配置并解决资源文件配置问题，最终实现了调试。同时，文章还提到了日志输出的设置，通过添加log4j.properties文件实现日志在控制台的显示。

IDEA调试hadoop源码

前言

idea调试hadopo源码步骤：

1.先在linux机器上编译hadoop。 参考其他编译文档
2.把编译后的结果，打包，拉到自己的开发环境
3.导入到idea

一、导入idea后，出现各种报错，处理掉

![
](https://img-blog.csdnimg.cn/f512e82c510e49629bd230ade8e72927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NwYXJrX2Rldg==,size_16,color_FFFFFF,t_70)

错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.qjournal.server.JournalNode
尝试各种hadoop的类，都是这个错误

处理方法：

在这里插入图片描述
模块这里打勾，就能跑程序了

二、调试ResourceManager

运行成功页面：

最低0.47元/天 解锁文章
hadoop源码编译，导入idea中
菜皮的默默倾诉
01-09 3597
我的笔记本是deepin15.8系统，其实就是一个ubunt 1.首先安装软件 sudo apt-get install maven libssl-dev build-essential pkgconf cmake 2.安装protobuf 下载protbuf 2.5.0 https://github.com/protocolbuffers/protobuf/releases?after=...
Hadoop本地调试环境搭建
05-20 656
Hadoop本地debug
idea 调试 Hadoop
luckgl的博客
08-28 199
hadood idea java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. – 解决方式： System.setProperty(“hadoop.home.dir”, “Full\folder\path:\winutil\”); ps: if you havn’t install winutils.exe you can execute the command git
Hadoop在Windows下用IDEA调试
08-13
NULL 博文链接：https://liumangafei.iteye.com/blog/2303362
Intellij IDEA 调试Hadoop 源码
上步七星
01-16 6936
Debug Hadoop source code using an IDE(Intellij Idea) 原文链接：http://www.techbite.in/2013/05/debug-hadoop-source-code-using.html This is my 100th blog post ;-) If you are someone who want
hadoop源码下载本地后，使用idea查看源码步骤
shkstart的博客
07-20 1394
Hadoop源码是这么做，其他源码环境也类似。 1、到官网下载Hadoop源码包，例如hadoop-3.1.3-src.tar.gz. https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz 2、将下载的源码包解压到某个目录下，记住这个目录，后面导入Idea时需要这个目录。 3、打开Idea，点击Import Project选项卡。选择Import project from extern
Windows环境下IDEA调试Hadoop的实践经验分享
通过博文提供的步骤和建议，读者不仅能够在Windows环境下使用IDEA调试Hadoop，还能够加深对Hadoop工作原理的理解，从而更好地优化和配置自己的Hadoop环境。由于描述中并未详细阐述博文的内容，这里仅提供了一个大致...
Hive源码本地IDEA调试的正确姿势
u013289115的博客
01-11 3257
Hive源码本地IDEA调试的正确姿势 背景 Hive作为最最基础的大数据框架，可以说，没装Hive，就等于没有大数据这回事。Hive的功能也越来越强大，经过大多数用户市场的检验，也诞生许多稳定的版本。所以，大多数人把Hive当成黑盒使用，只需要明白其原理。但是，万一某种情况下，你的需求里出现未知bug或者有新的需求需要改造的时候，这时你不得不跟Hive源码打交道。本人在最近的Hive bug修复和开发中也走了不少弯路，网上也没像样的教程，现在总结出来给各位，避免踩坑。 环境准备 Hive 这里选用hi
IDEA调试本地Hadoop程序
奋斗吧_-小青年
05-17 934
1、新建IntelliJ下的maven项目点击File->New->Project，在弹出的对话框中选择Maven，JDK选择你自己安装的版本，点击Next2、填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填，点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,用来计算文件中单词出现的次数3、设置程序的编译版本打开I
基于idea搭建Hadoop源码阅读环境
twj0823的博客
11-27 5119
Hadoop源码是这么做，其他源码环境也类似。 1、到官网下载Hadoop源码包，例如hadoop-2.6.5-src.tar.gz. https://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/ 2、将下载的源码包解压到某个目录下，记住这个目录，后面导入Idea时需要这个目录。 3、打开Idea，点击Import Project选项...
windows下hadoop本地测试需要修改的源码
07-04
将两个类org.apache.hadoop.io.nativeio.NativeIO.java，org.apache.hadoop.mapred.YARNRunner.java 放到工程的src下，两个类的package不修改，否则覆盖不掉原来的hadoop的那两个类
hadoop2.7.3的源码包
04-10
hadoop2.7.3的源码包，hadoop关联源码的时候直接选择就可以查看源码。是自己通过mvn下载的源码之后压缩的。
【简单易懂版】使用IDEA操作Hadoop（增删改查）
GSCY
07-17 2430
在IDEA中使用JAVA代码操作Hadoop完成增删改查，上传、下载基础功能
Intellij IDEA下远程调试hadoop
热门推荐
司念
12-24 1万+
IDEA中远程调试hadoop
IDEA导入Hadoop源码并且可以调试遇到的问题
JamesBaiLove的博客
02-15 1194
想学大数据，第一步就是学习编译，作为一个使用window的屌丝，想在window环境下调试hadoop源码，就得先把hadoop源码编译好，在此，推荐一位大神的：https://blog.youkuaiyun.com/feinifi/article/details/82895362 , 他在github上挂出了编译好的hadoop2.7.0的window环境的hadoop，尤其是里面的关键文件很重要，我是...
在idea上运行hadoop程序
Multiangle's Notepad
11-03 5494
本文的内容是如何让idea读取hdfs中的文件。 在开始前，我默认各位看官已经装好了hadoop。如果还没有安装hadoop，可以看这篇文章：linux下命令行安装hadoop2.7.2过程首先要将文本文件从本地移到hdfs中$hadoop fs -mkdir /tmp $hadoop fs -copyFromLocal /home/multiangle/download/280.txt /tmp
【大数据Hadoop】Hadoop源代码调试（持续更新...）
如切如磋，如琢如磨，臻于至善。
01-29 343
hadoop 源代码 各个组件的调试，分析源代码，跟踪源代码，解析源代码，理解源代码，熟读源代码
hadoop源码_HBASE源码导入IDEA并开启DEBUG调试
weixin_39940344的博客
11-28 334
前言：为了更深入的理解HBase的源码，对源码进行跟踪调试是一个很好的方法。本文详细记录了把社区版的HBase1.2.0源码导入idea中，进行编译调试的过程，以及在整个操作流程中遇到的一些坑。一、我的环境开始操作前，请确认自己的环境，避免因为软件环境的原因，产生没有记录到的问题。jdk 1.8Maven 3.6.1Idea 2019.1.3git version 2.21.1HBase...
ubuntu20桌面版编译hadoop3.3.1源码后，在intelli idea中单独启动NameNode
随笔
11-11 1734
错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值