Hadoop Client无法使用maven下载源码

最新推荐文章于 2022-07-01 14:38:21 发布

weixin_33768481

最新推荐文章于 2022-07-01 14:38:21 发布

阅读量473

点赞数 2

CC 4.0 BY-SA版权

文章标签： java 大数据开发工具

原文链接：https://my.oschina.net/icebergxty/blog/1930294

本文介绍了在使用Hadoop过程中遇到的问题及解决方法，特别是如何配置IDEA来查看Hadoop源码注释。针对新版Hadoop源码包缺失的问题，提供了从Hadoop dist目录获取源码的具体步骤，并给出了两种解决方案：复制到Maven仓库或直接在IDEA中进行关联。

2019独角兽企业重金招聘Python工程师标准>>>

最近在学习hadoop，使用maven的时候想看一下源码的注释，结果IDEA一直提示无法下载

搞得我一度以为maven坏掉了。

但是通过搜索，发现在maven仓库里确实没有源码....

而2.8.1以及之前的版本是有的....

这就很难受了，我不用最新版的会很不爽，最后发现在hadoop的dist里有源码包....

hadoop所有的源码都在share/hadoop下，直接去对应的文件夹寻找即可

然后你就可以选择把它复制到maven仓库对应位置或者直接通过IDEA关联

转载于:https://my.oschina.net/icebergxty/blog/1930294

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33768481

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Maven打包报错：找不到符号，类BASE64Encoder，程序包sun.misc

Heartsuit的博客

12-10

5093

一个基于若依单体架构的多模块 `Maven` 项目的国产化迁移适配，由于是客户的代码，我们不用关心具体的功能实现，直接来做迁移即可。实施时，按照我们总结的整改建议调整源码，具体迁移适配过程可参考本专栏的其他文章。Maven打包报错：找不到符号，类BASE64Encoder，程序包sun.misc

Hadoop-client-2.7.4.jar

01-02

Hadoop-client-2.7.4.jar 开发所用jar包

参与评论您还未登录，请先登录后发表或查看评论

解决maven 下载 hadoop-client 客户端报错的问题

jcoiwenwfkowe的博客

09-01

570

解决maven 下载 hadoop-client 客户端报错的问题

使用Java程序创建Hadoop-Client操作Hadoop

非我执笔

10-14

2093

1.创建一个Maven工程 2.在Example的pom文件中添加依赖管理  <dependencyManagement> <dependencies>  <dependency> <groupId>org.apache.hadoop</groupId&

maven下载依赖失败解决办法

HZAOLICHENG的博客

03-07

1169

1.可以手动进行编写 2.去中央仓库下载jar包导入本地

Hadoop学习记录4--Maven、HDFS API编程

weixin_45772744的博客

07-01

1259

目录1.Windows下安装hadoop2. Maven2.1 Maven简介2.2 Maven安装与配置2.3 通过pom文件下载hadoop的客户端依赖3.API之文件操作 3.1 API之文件系统对象3.3 API之文件下载 3.4 API之创建目录 3.5 API之删除目录 3.6 API之文件状态 1.Windows下安装hadoop①解压到本地磁盘② 配置环境变量③添加winutils.exe和hadoop.dll ④修改hadoop-env.cmd Maven主要

基于Windows eclipse maven Hadoop 的WordCount源码

10-14

总结来说，基于Windows、Eclipse、Maven和Hadoop实现WordCount源码的过程主要包括以下步骤：配置开发环境、创建Maven项目、编写MapReduce代码、打包成jar文件，以及在Hadoop集群上运行作业。通过这个过程，我们可以...

Hadoop编译（Maven）

弄潮大数据的博客

02-11

1319

hadoop编译指导

hadoop2.7.2源码包

06-17

7. **编译与构建**：Hadoop 2.7.2源码使用Maven进行构建，通过修改`pom.xml`文件，可以定制编译选项，如添加或移除特定模块，便于理解和调试。 8. **测试框架**：源码包中包含了大量的单元测试和集成测试，可以帮助...

hadoop2.8.5源码编译（亲测无坑）

m0_37613244的博客

11-25

402

1 前期准备 1.1 所需软件 hadoop-2.8.5-src.tar.gz jdk-8u144-linux-x64.tar.gz apache-maven-3.6.3-bin.tar.gz apache-ant-1.9.15-bin.tar.gz protobuf-2.5.0.tar.gz openssl-devel ncurses-devel glibc-headers 和 g++ make和cmake 下载地址为： 1.2 环境配置规划：在/opt下创建两个目录，分别为/opt/softwa

Hadoop源码编译好的源码（eclipse可直接导入）

10-18

- `hadoop-hdfs`：实现HDFS的相关组件，如NameNode、DataNode、Client等。 - `hadoop-mapreduce`：MapReduce的实现，包括JobTracker（在YARN中已被ResourceManager替代）、TaskTracker（被NodeManager替代）以及相关...

Maven工程下java:org.apache.hadoop.conf 等Hadoop包不存在的问题

goTsHgo的博客

10-13

4719

问题分析：肯定是因为Maven工程中缺少了以来的Jar包，但是点击了Maven中的test 仍然没有解决问题，因此，需要手工命令的方式来让maven 来下载需要的jar包。解决方案操作步骤见下图：按照图片操作之后即可解决。 ...

[1120]Maven依赖冲突解决之exclusions

周小董

03-28

2499

1. 背景 1、作为java生态下开发者，往往需要使用大量线程的第三方库，一般都是以jar包形式存在。 2、maven作为事实上主流的jar包依赖管理工具，Idea和Eclipse都支持创建maven工程来管理jar包依赖。 3、使用maven进行jar包依赖管理时，maven会自行管理jar包及其依赖链条，但往往会遇到依赖冲突问题，这时候就可以尝试使用exclusion来进行依赖管理。 2. 解决方式 1、场景假如hadoop集群中hadoop版本是3.2.1，这时候为了保证程序能够顺利操作hadoo

maven下载源码失败，Sources not found for:xxx

it's a long road

04-30

3411

想看代码的源码时，发现看不了： Cannot download sources Sources not found for: org.apache.commons:commons-pool2:2.4.2 这种情况是因为源码的jar包没有下载到本地的仓库。如图： .lastUpdated结尾的文件为源码jar包，此时下载失败。解决方法：手动下载源码jar包放到本地仓库中。 ...

解决maven 下载 hadoop-client 客户端报错的问题

weixin_30750335的博客

02-11

2175

第一、pom.xml配置： <dependency> 　　　　　　<groupId>org.apache.hadoop</groupId> 　　　　　　<artifactId>hadoop-hdfs</artifactId> 　　　　<version>2.6.0</version>...

用Maven构建Hadoop环境

leafdown_的博客

03-11

6981

1.1用Maven创建一个标准化的Java项目 mvn archetype:generate -DgroupId=com.baidu -DartifactId=InstructionsHdfs-DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false 注： DgroupId：project-packaging...

Hadoop的Maven工程pom.xml需要的jar包</dependency>

Domer_chen的博客

07-25

2829

Maven仓库：https://mvnrepository.com/artifact/org.apache.hadoop 摘自https://blog.csdn.net/qq_33813365/article/details/70214484 需要的Jar包（对应版本：2.x.x）  <depe...

资料只看看，不能copy/paste。

weixin_33860737的博客

11-17

289

http://blog.itpub.net/rss/137/288昨天有朋友要我帮她拷贝几个资料网页下来，但是那个网站做了很多手脚，资料只看看，不能copy/paste。我还是比较鄙视这种网站的，只能看不能摸，多无聊啊。昨天快下班了，所以也没怎么搞，今天上午就看了一下首先页面的那个iframe转向encrypt.asp?act=BODY&id=740，拿下来看看，这个源文件中的关键...

idea 无法下载源码的解决办法

qq_40419080的博客

08-04

741

这样，以后每新添加的maven依赖，都会自动下载对应的资源文件而对于当前的项目，我们也可以选中前两项，然后，刷新maven依赖，即可

Hadoop MapReduce Client Common 2.5.1 中英API文档完整版

hadoop-mapreduce-client-common-2.5.1.pom文件包含了Maven项目对象模型（POM）信息，这对于使用Maven作为项目管理工具的开发者来说非常有用。通过这个POM文件，开发者可以轻松地在项目中配置和使用Hadoop MapReduce...