编译hadoop-2.2.0时缺少3个文件的处理方式

最新推荐文章于 2022-06-18 00:53:28 发布
转载 最新推荐文章于 2022-06-18 00:53:28 发布 · 537 阅读 · 0

本文解决Hadoop中Avro与Protobuf测试缺失类的问题，提供AvroRecord类下载链接，并介绍如何拷贝Protobuf相关类到正确位置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >



2. /hadoop-common/src/test/java/org/apache/hadoop/io/serializer/avro/TestAvroSerialization.java显示没有AvroRecord类，在网上搜索到AvroRecord类放入到同级包中就行了。

       http://download.youkuaiyun.com/detail/dywywh709/7039179（此处可以下载该类）


3. org.apache.hadoop.ipc.protobuf包里面缺少两个类TestProtos.java,TestRpcServiceProtos.java.

 
    需要在/hadoop-common/target/generated-test-sources/java/org/apache/hadoop/ipc中找到profobuf拷贝到/hadoop-common/src/test/java中就好了

happyleh
关注
hadoop2.7.6相关依赖包缺失
尘雨::执着VC
07-10 874
在Hadoop相关开发中，因很多时候大数据集群的版本比较低，例如CDH6.3.1所集成的是hadoop2.7.6版本，所以需要客户端开发时，也要做版本适配，需引入hadoop-common-2.7.6.jar，hadoop-hdfs.2.7.6.jar等jar包依赖。添加htrace-core-3.1.0-incubating.jar到项目中。添加commons-cli-1.5.jar到项目中。添加guava-30.1.1-jre.jar。添加guava-30.1.1-jre.jar。
org.apache.hbase.thirdparty.com.google.protobuf.ServiceException: org.apache.hadoop.hbase.exceptions
qq_21480329的博客
09-25 2156
org.apache.hbase.thirdparty.com.google.protobuf.ServiceException: org.apache.hadoop.hbase.exceptions.ConnectionClosedException: Call to xxx:16000 failed on local exception: org.apache.hadoop.hbase.exceptions.ConnectionClosedException: Connection closed ​
hadoop的基础设施-protobuf-2.5.0编译和安装
敏叔
06-18 1623
在安装编译Hadoop的时候需要提前安装protobuf-2.5.0的，而且版本不要高了或者低了，这个是因为hadoop的rpc通信里面是直接使用protobuf-2.5.0作为数据格式交换的，因为遇到很多次，每次都从头安装，这次记录下来。......
Phonix:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException)
weixin_43377681的博客
05-22 772
1.现象： 按照官网安装: 启动后报错： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException) 反正就是各种报错 2.原因与解决 最后发现官网没有写修改phonix的hbase-site.xml,因为原始的hbase-site.xml与已经部属的hbase-site.xml冲突，所以报错。 解决方法： 将hbase的hbase-site.xml移动到phonix的bin/目录
【Hadoop】org.apache.hadoop.ipc.xxx不存在
runzhliu大数据/容器日记
04-25 1218
想在 IDEA 上运行 Hadoop 的单测，以为 Maven 相关的依赖和插件下载好就能跑了是吧？果不其然，没那么简单，下面就收到一个报错了: org.apache.hadoop.ipc.xxx不存在，见下图。 上面显示的这个是什么包？为什么会报这个错呢？其实不用着急，只要你了解 Hadoop 底层，有点后端的基础，慢慢推敲一下。看到 RPC，那么可以理解，这些不存在的文件为什么不存在呢？原因就是没有通过 protoc 来生成，这些 RPC 的客户端一般都是这样生成的，如果没有，那么我们运行的某些单测
hadoop-2.2.0编译安装
06-26
- 修改`hadoop-2.2.0-src/hadoop-common-project/hadoop-auth`目录下的`pom.xml`文件，添加缺少的依赖项，以解决Hadoop 2.2.0的已知问题。 4. **安装Maven**： - 下载Maven 3.0.5：...
hadoop2.2.0的64位安装包
06-16
如果在64位Linux系统上直接使用32位的Hadoop安装包，可能会遇到兼容性问题，例如缺少32位库，导致运行时错误。因此，为了确保Hadoop在64位环境中正常工作，我们需要对源代码进行编译，生成与系统匹配的64位版本。 ...
hadoop-2.6.0-windows:为 MS Windows 7 (Platform=x64) 编译的二进制文件
06-13
对于 hadoop 2.2.0，此类二进制文件是 ，它们不适用于 Hadoop 2.6.0。 所以我的解决方案是自己编译。 我已按照 BUILDING.txt 说明进行操作，猜猜是什么，显示停止构建错误。 先决条件： 没有任何 MS Visual Studio...
Spark编译与部署（中）--Hadoop编译安装
07-11
##### 3.2 编译HADOOP 2.2.0出现代码异常 如果在编译过程中遇到代码异常，首先要确保所有依赖库都已经正确安装。此外，也可以尝试更新Maven到最新版本，或者检查是否有语法错误。 ##### 3.3 安装HADOOP 2.2.0出现...
hadoop2.x编译实例
05-07
由于 Hadoop 2.2.0 的源码中缺少对 jetty-util 的依赖，需要手动添加该依赖到 `pom.xml` 文件中。具体步骤为： 1. **定位到 pom.xml 文件**： ```bash cd /usr/local/hadoop-2.2.0-src/hadoop-common-project/...
hadoop 2.8.0在win10上修改编译成功的bin目录（解决winutils.exe无法符号链接）
08-31
尽管选择修改组策略中的本地安全策略，有可能使OS容许生成符号链接，但许多时候修改是失败的，由于安全性因素，一些杀毒软件也不容许这样做。因此，通过修改winutils源码并编译成功，解决了无法生成符号链接这个安全性问题，经过实测，原来报错的symblink（1）不再发生。替换本目录下的文件后，yarn及sqoop均能正确运行。
org.apache.hadoop.ipc.ProtobufEngine
youcai1116的博客
11-29 568
 hadoop2.7.3与eclipse搭建开发环境报错，由于是采用hadoop2.6的插件编译，造成commons-io，commons-client,commons-configuration的版本代码不对，采用将代码直接拷贝到插件包里的classes下面。
hadoop 常用缺少包错误
热门推荐
wolvesqun的专栏
09-29 2万+
package wc; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritabl
cloudera hadoop的lib/native/下没有库文件的问题
weixin_34326179的博客
07-31 1026
从cloudera官网上下载其发行的hadoop版本时发现一个问题，hadoop-2.0.0-cdh4.3.0.tar.gz文件解压缩之后其目录lib/native/下没有库文件。在其examples目录下有两个静态库文件，尚未验证其是否有用。 解决方法：可以从网上下载其他hadoop的发行版本中复制native文件粘贴，或者最好从已安装好的hadoop集群中复...
hadoop-2.6.0-src源码导入Eclipse
Lv的程序人生
07-23 1116
一.导入 先修改源码 参考 二.改错里面的第3条 1.cd到 hadoop-2.6.0-src/hadoop-maven-plugins mvn intall 2.在cd到hadoop-2.6.0-src 目录下 mvn eclipse:eclipse -DskipTests 3. 在Eclipse中：File-Import-Existing Projects
编译hadoop的libhdfs.a
weixin_34186128的博客
11-27 228
进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。 如果遇到如下的错误： ~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake . JAVA_HOME=, JAVA_JVM_LIBRARY=/data...
关于Hadoop-3.2.0的安装及一些问题的解决方法
qq_43561626的博客
07-15 957
作为一个最近刚开始接触大数据的萌新，一切都得从基础开始学起。学习大数据Hadoop是必不可少的内容。而Hadoop的安装则就是基础中的基础了。故而，我对Hadoop的安装以及我在安装中遇到的问题做一个总结，希望可以帮助到和我遇到同样问题的同学。如果文中有什么错误也欢迎指出。 好的，那现在就开始来安装Hadoop吧 开始之前需要做的一些准备： 1，一台装有Ubuntu的电脑 2，Ubuntu需要有一...
Windows在Hadoop集群远程运行Avro文件格式的MapReduce任务踩坑经历
四毛毛的博客
07-24 1625
  初学Avro，用Avro文件作为MapReduce任务的输入输出，踩坑无数，我用的是Centos6.10+Hadoop3.0.3服务器集群，在Windows环境下开发MapReduce 1 Avro类找不到 最初我开开心心写好了MapReduce运行的时候，在cmd里面运行我的jar包，报错java.lang.ClassNotFoundException: org.apache.avro...
hadoop源码编译方法，以及编译问题总结
amateur_RD的博客
08-28 2760
一、编译所需的一些软件1.jdk1.7 2.maven 3.3.9 3.findbugs 3.0.1 4.protocolBuffer 2.5.0 5.cmake 2.6 6.zlib-devel 7.openssl-devel 8.gcc-c++ 9.autoconf 10.automake 11.hadoop-2.7.3-src.tar.gz二、编译hadoop源码步骤首先需
测试可用的Hadoop-2.2.0 64位版本下载
标题和描述中提到的Hadoop-2.2.0 64位，实际上在描述中出现了一个小错误，描述为“此hadoop是hadoop-2.2.0是32位的编译出来的”，而标题则明确指出是64位版本。这里我们按照标题中提及的版本信息，即hadoop-2.2.0 64...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值