Ubuntu上使用Hadoop 2.x 三 编译2.2.0 64bit版本

Spark本地开发环境六步搭建:JDK/Scala/Hadoop/PySpark/IDEA/sbt全链路配置 Apache Spark 是一个基于 JVM 的分布式计算框架,其本地开发环境本质是 Java 生态、Scala 编译体系与 Hadoop 兼容层的精密协同。理解 Spark 运行原理需从 JVM 依赖机制出发——JDK 版本决定类加载兼容性,Scala 版本绑定二进制接口(如 _2.12 后缀),而 Hadoop 并非仅用于分布式存储,更是 Spark 初始化时硬依赖的配置与类库底座。这种强版本耦合性直接决定了开发效率与调试成本。技术价值在于构建可复现、可验证、可回溯的确定性环境,支撑从单机 local 阅读详情

下载源代码:

  1. wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz  

然后解压:
  1. tar zxvf hadoop-2.2.0-src.tar.gz  
  2. cd hadoop-2.2.0-src  

运行下面的命令开始编译:
  1. ~/code/hadoop-2.2.0-src$ mvn package -Pdist,native -DskipTests -Dtar  
下载了很多maven的东东后,编译报错:
  1. [ERROR] COMPILATION ERROR :   
  2. [INFO] -------------------------------------------------------------  
  3. [ERROR] /home/hduser/code/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[88,11] error: cannot access AbstractLifeCycle  
  4. [ERROR]   class file for org.mortbay.component.AbstractLifeCycle not found  
  5. /home/hduser/code/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[96,29] error: cannot access LifeCycle  
  6. [ERROR]   class file for org.mortbay.component.LifeCycle not found  

编辑hadoop-common-project/hadoop-auth/pom.xml文件,添加依赖:
  1. <dependency>  
  2.   <groupId>org.mortbay.jetty</groupId>  
  3.   <artifactId>jetty-util</artifactId>  
  4.   <scope>test</scope>  
  5. </dependency>  

再次编译,这个错误解决了。 注意,2.3.0之后不需要修改pom.xml,这个问题已经解决。

之后遇到了没有安装protocol buffer库的错误,安装一下:

  1. [INFO] --- hadoop-maven-plugins:2.2.0:protoc (compile-protoc) @ hadoop-common ---  
  2. [WARNING] [protoc, --version] failed: java.io.IOException: Cannot run program "protoc": error=2, No such file or directory  

  1. sudo apt-get install libprotobuf-dev  


然后再次运行maven命令编译。发现新的错误,原来ubuntu的安装包里面没有带上protoc编译器。算了,下源代码自己编译。
  1. hduser@hm1:/usr/src$ sudo wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz  
  2. ...   
  3. $ sudo ./configure  
  4. $ sudo make  
  5. $ sudo make check  
  6. $ sudo make install  
  7. $ sudo ldconfig  
  8. $ protoc --version  
  1. hduser@hm1:~$ start-dfs.sh   
  2. Starting namenodes on [localhost]  
  3. localhost: namenode running as process 983. Stop it first.  
  4. localhost: datanode running as process 1101. Stop it first.  
  5. Starting secondary namenodes [0.0.0.0]  
  6. 0.0.0.0: secondarynamenode running as process 1346. Stop it first.  


再来编译。等...., 说明hadoop不准备64bit的库浪费了大家多少时间。

还有错:

  1. Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the  
  2.      [exec]   system variable OPENSSL_ROOT_DIR (missing: OPENSSL_LIBRARIES  

安装openssl库
  1. sudo apt-get install libssl-dev  

再来一次,编译成功了。在目录/home/hduser/code/hadoop-2.2.0-src/hadoop-dist/target 下有文件:

hadoop-2.2.0.tar.gz

解压后,进入目录,然后复制native 目录里的东西到制定位置,覆盖32bit文件

  1. sudo cp -r ./hadoop-2.2.0/lib/native/* /usr/local/hadoop/lib/native/  

现在回到~目录,运行下面的命令,成功了。
  1. hduser@hm1:~$ start-dfs.sh   
  2. Starting namenodes on [localhost]  
  3. localhost: namenode running as process 983. Stop it first.  
  4. localhost: datanode running as process 1101. Stop it first.  
  5. Starting secondary namenodes [0.0.0.0]  
  6. 0.0.0.0: secondarynamenode running as process 1346. Stop it first.  

  1. hduser@hm1:~$ start-yarn.sh  
  2. starting yarn daemons  
  3. starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hduser-resourcemanager-hm1.out  
  4. localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduser-nodemanager-hm1.out  

  1. hduser@hm1:~$ jps  
  2. 32417 Jps  
  3. 1101 DataNode  
  4. 1346 SecondaryNameNode  
  5. 983 NameNode  

现在运行例子程序, 注意/etc/hosts中我配置了 

  1. 127.0.0.1 hm1  

  1. hduser@hm1:~/code/hadoop-2.2.0-src$ cd /usr/local/hadoop/  
  2. hduser@hm1:/usr/local/hadoop$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 2 5  
  3. Number of Maps  = 2  
  4. Samples per Map = 5  
  5. Wrote input for Map #0  
  6. Wrote input for Map #1  
  7. Starting Job  
  8. 14/02/21 18:07:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032  
  9. 14/02/21 18:07:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumC\  
  10. fountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)  
  11. 14/02/21 18:07:31 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumC\  
  12. ountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)  
  13. 14/02/21 18:07:32 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumC\  
  14. ountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)  

需要在yarn-site.xml中添加写配置:

  1. <property>  
  2.   <name>yarn.resourcemanager.address</name>  
  3.   <value>127.0.0.1:8032</value>  
  4. </property>  
  5. <property>  
  6.   <name>yarn.resourcemanager.scheduler.address</name>  
  7.   <value>127.0.0.1:8030</value>  
  8. </property>  
  9. <property>  
  10.   <name>yarn.resourcemanager.resource-tracker.address</name>  
  11.   <value>127.0.0.1:8031</value>  
  12. </property>  

重新启动虚拟机,再次启动服务,现在连接问题解决了。
  1. hduser@hm1:/usr/local/hadoop$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 2 5    
  2. Number of Maps  = 2  
  3. Samples per Map = 5  
  4. Wrote input for Map #0  
  5. Wrote input for Map #1  
  6. Starting Job  
  7. 14/02/21 18:15:53 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032  
  8. 14/02/21 18:15:54 INFO input.FileInputFormat: Total input paths to process : 2  
  9. 14/02/21 18:15:54 INFO mapreduce.JobSubmitter: number of splits:2  
  10. 14/02/21 18:15:54 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name  
  11. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar  
  12. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative  
  13. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces  
  14. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class  
  15. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.specul\  
  16. ative  
  17. 14/02/21 18:15:54 INFO Configuration.deprecation: mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class  
  18. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name  
  19. 14/02/21 18:15:54 INFO Configuration.deprecation: mapreduce.reduce.class is deprecated. Instead, use mapreduce.job.reduce.class  
  20. 14/02/21 18:15:54 INFO Configuration.deprecation: mapreduce.inputformat.class is deprecated. Instead, use mapreduce.job.inputformat.class  
  21. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir  
  22. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir  
  23. 14/02/21 18:15:54 INFO Configuration.deprecation: mapreduce.outputformat.class is deprecated. Instead, use mapreduce.job.outputformat.class  
  24. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps  
  25. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.output.key.class is deprecated. Instead, use mapreduce.job.output.key.class  
  26. 14/02/21 18:15:54 INFO Configuration.deprecation: mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir  
  27. 14/02/21 18:15:54 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1393006528872_0001  
  28. 14/02/21 18:15:54 INFO impl.YarnClientImpl: Submitted application application_1393006528872_0001 to ResourceManager at /127.0.0.1:8032  
  29. 14/02/21 18:15:55 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1393006528872_0001/  
  30. 14/02/21 18:15:55 INFO mapreduce.Job: Running job: job_1393006528872_0001  


如果重来一次的话,顺序应该是先编译64bit版本,然后用这个版本进行配置安装。

智能车实战——从ADC采集到PWM控制,让电磁车精准循迹 本文详细介绍了电磁循迹智能车的实现原理与实战技巧,涵盖从ADC信号采集、PWM控制到PID算法整定的全流程。通过STM32代码示例解析电感信号处理、差比和偏差计算及电机驱动等关键技术,帮助开发者快速掌握智能车精准循迹的核心方法,提升电磁车竞赛项目的开发效率。 阅读详情

相关推荐

Anthropic API接入指南:连接失败、403鉴权与Claude Code集成排查

在AI应用开发中,API接入与鉴权机制是开发者绕不开的基础工程问题。无论是调用云端模型服务还是自建网关,网络连通性、HTTP状态码语义、模型路由映射都会直接影响服务可用性。本文从通用的网络诊断与鉴权原理出发,梳理了从TCP连接失败到403权限拒绝的典型链路,并深入解析网关模型路由匹配机制。在此基础上,进一步说明如何通过环境变量完成Claude Code与VS Code的本地集成,以及一套基于Python的可复现接入方案。内容涵盖Anthropic API高频报错定位、curl冒烟测试、SDK工程化实践,适合

weixin_28743405的博客 471

Spark 初识

问题一:执行spark-shell 打开窗口执行,提示如下错误信息造成此问题原因:Spark从1.4版本以后,Spark编译时都没有将hadoop的classpath编译进去,所以必须在spark-env.sh中指定hadoop中的所有jar包解决方法:在spark-env.sh中添加一条配置信息,将hadoop的classpath引入, ${HADOOP_HOME}根据自己的情况而定,直接写绝对路径也行,我这里选择直接写成全路径方式;问题二:执行Spark-shell 打开窗口命令,提示如下错误信息。

zhouzhiwengang的专栏 918

NetApp 7-mode初始化详解(原AGGR重建)及注意事项

没想到有生之年还能再写个7-mode的文章,上次接触可能已将近十年,本次恰巧碰到这个机会,边学习边整理,整整一天时间,碰到了不少坑,作为记录。

RaySun的技术Blog 2754

报错:Sqoop2 Exception: java.lang.NoSuchMethodError Message: org.apache.hadoop.security.authentication....

报错过程: 进入sqoop2之后, 输入命令:show connector,报错 报错现象: Exception has occurred during processing command Exception: java.lang.NoSuchMethodError Message: org.apache.hadoop.security.authentication.client.Aut...

weixin_30883311的博客 395

ArcGIS栅格数据像元值与坐标值提取及Excel导出全流程解析

本文详细解析了使用ArcGIS将栅格数据批量提取像元值与坐标值并导出至Excel的全流程。通过“栅格转点”、“添加XY坐标”和“表转Excel”三大核心步骤,无需编程即可自动化处理遥感、环境等领域的空间数据,有效提升数据分析效率。

zeta9的博客 367

Fiddler everywhere的一些基础操作

网上能搜到的Fiddler everywhere使用教程太少,于是我整理了一些自己实操成功的内容,包括Fiddler everywhere的Mock测试、弱网测试等基础操作,后续还会持续更新。操作系统:macOS使用工具:Fiddler everywhere 5.10.0本文简单介绍了使用Fiddler everywhere进行的Mock测试和弱网测试,而Fiddler everywhere提供了更多的其他实用的功能,我会在后期进行一个持续的学习和更新。

weixin_44346646的博客 2482

ubuntu18.04搭建hadoop3.2.1

网络配置 1、利用Virtualbox虚拟机建立3台虚拟机,安装ubuntu18.04,见下图 2、进入ubuntu系统,对主机进行重命名。“Vim /etc/hostname” 将3台虚拟机的名字分别改为“ubuntu-master”、“ubuntu-slave1”、“ubuntu-slave2”。 3、配置hosts文件,填入虚拟机的ip地址及机器名称 Vim /etc/hosts 建立...

lgyfhk的博客 1567

手把手教你用Docker快速部署开源MES系统(附避坑指南)

本文提供了一份详细的实战指南,手把手教你使用Docker容器化技术快速部署开源MES系统。内容涵盖从环境准备、项目选型、数据库配置到应用服务器优化、前端部署及生产环境监控的全流程,并附有避坑指南,旨在帮助中小制造企业IT人员和开发者低成本、高效率地构建智能制造解决方案。

f0g1h2的博客 1066

ubuntu16.04编译hadoop-3.0.0源码

小故事:项目需要提供native lib的hadoop3.0.0。但官方的二进制文件默认只提供了内建的java版本,所以这个blog的目的实际上是说明一下编译过程中遇到的坑,同时编译出native lib并替换二进制版本中的native文件夹. 完工以后结果就是这样的: hadoop checknative 2018-07-24 00:11:53,480 INFO bzip2.Bzip2Fac...

风先生的日常专栏 1957

maya导入导出bvh 自动 脚本

maya打开bvh脚本

jacke121的专栏 1552

Stable Diffusion 模型分享:Indigo Furry mix(人类与野兽的混合)

Indigo Furry mix 是一个混合模型,出的图具有雄性人类的体型和野兽的形态。条目内容类型大模型基础模型SD 1.5来源CIVITAI作者indigowing文件名称文件大小1.99GB。

水滴的博客 1834

Ubuntu上使用Hadoop 2.x 五 编译2.3.0 64bit版本

Hadoop 2.3.0已经发布,编译方式主要还是参考前文:Ubuntu 12.04 上使用Hadoop 2.2.0 三 编译64bit版本不过有一点区别,就是不需要修改pom.xml文件了。jetty的bug已经修复。

Dean Chen的专栏 4089

OpenCV-Python实战(1)——OpenCV简介与图像处理基础

OpenCV 是一个的跨平台计算机视觉库,可以运行在 Linux、Windows 和 Mac OS 操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时也提供了 Python 接口,实现了图像处理和计算机视觉方面的很多通用算法。在本文中,将介绍 OpenCV 库,包括它的主要模块和典型应用场景,同时使用 OpenCV-Python 实战讲解图像处理基础要点。

盼小辉丶的博客 27万+

Ubuntu14.04 (x64) 下hadoop2.5.0的编译

Ubuntu14.04 (x64) 下hadoop2.5.0的编译 详情见原文地址:http://jeyzhang.com/154/ 1.  前言 2. 操作系统及版本说明 Ubuntu14.04  64位。 如果你的操作系统是32位的,可以跳过这篇,因为只有64位的linux系统需要进行hadoop的编译。 > 如何查看linux系统的位数 1 2 3 4

hechenghai 1019

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

64位CentOS上编译 Hadoop 2.2.0

下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后。总是出现这样的警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因是...

weixin_30757793的博客 88

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Spark环境搭建避坑指南:JDK/Scala/Hadoop版本精准匹配

Apache Spark并非即装即用的单机工具,而是一个深度耦合JVM生态的分布式计算引擎。其稳定运行依赖于JDK版本兼容性、Scala运行时一致性、Hadoop二进制ABI匹配及本地资源精准配置等底层原理。技术价值在于规避NoClassDefFoundError、线程创建失败、文件系统不支持等高频故障,保障ETL调试、SQL开发与实时流任务的可复现性。典型应用场景包括金融风控离线分析、电商推荐特征工程及IoT时序数据本地验证。本文聚焦Spark环境搭建这一基础但极易出错的关键环节,深入解析JDK版本匹配与

weixin_30256901的博客 390

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

PySpark本地环境安装全指南:Java/Hadoop/Spark版本协同配置

PySpark并非普通Python库,而是Python与JVM深度集成的混合执行引擎,其本地运行依赖Java虚拟机、Hadoop原生库与Spark核心组件的精确版本协同。理解JVM网关机制和Hadoop FileSystem抽象层,是解决‘winutils.exe缺失’‘UnsupportedClassVersionError’等高频报错的关键。技术价值在于构建可复现、可验证的本地开发沙箱,支撑SparkSession初始化、DataFrame计算及Parquet读写等核心能力。典型应用场景包括数据工程本地

weixin_30902251的博客 315

hadoop-2.6.4集群编译搭建-阿里云和腾讯云

腾讯云阿里云 hadoop集群编译搭建 fromhttp://blog.csdn.net/u014595668/article/details/52079753 环境准备 阿里云配置: [hadoop@lizer_ali ~]$ uname -a Linux lizer_ali 2.6.32-573.22.1.el6.x86_64 #1 SMP Wed Mar 23

有志者事竟成 1922

Ubuntu下面安装和配置Hadoop的dfs-fuse

1. 安装fuse: 首先去http://fuse.sourceforge.net/上下载和查看如何安装fuse,我安装的fuse是2.8.5版本的,下载2.8.5 版本后,使用如下三个命令安装fuse:  ./configure --prefix=/usr make make install 安装完成后,可以使用如下命令测试fuse 是否安装成功: mkdir /t

hua840812的专栏 3207

hdfs的实验总结_hadoop实验报告

学号:SetupHadooponUbuntu11.0464-bit提示:前面的putty软件安装省略;直接进入JDK的安装。1.InstallSunJDK<安装JDK>由于SunJDK在ubuntu的软件中心中无法找到,我们必须使用外部的PPA。打开终端并且运行以下命令:sudoadd-apt-repositoryppa:ferramroberto/javasudo...

weixin_39951419的博客 2212

Hadoop单机模式入门:Ubuntu 18.04 + Java 8 零基础实战

Hadoop单机模式是理解分布式计算框架本质的基石,它剥离了集群复杂性,聚焦于MapReduce工作流程、HDFS抽象模型与YARN资源调度的核心原理。作为最轻量级运行态,它以本地文件系统模拟HDFS、单JVM内执行MapReduce任务,实现可调试、可断点、可日志追踪的确定性计算。其技术价值在于降低学习门槛、强化概念认知、加速故障定位,并为伪分布式及生产集群部署提供可靠验证基线。典型应用场景包括WordCount验证、电信数据清洗、招聘薪资分位统计等MapReduce综合应用案例。本文基于Ubuntu 1

weixin_33834137的博客 413

Windows 11/10 高效搭建Hadoop 3.x:从零到本地开发环境实战

本文详细介绍了在Windows 11/10系统上高效搭建Hadoop 3.x本地开发环境的完整流程,包括Java环境配置、Windows特有依赖处理、Hadoop安装与基础配置、服务启动验证以及常见问题排查。通过实战案例演示如何开发第一个MapReduce程序,帮助开发者快速掌握大数据处理技术,提升本地开发效率。

weixin_34122810的博客 376

Azkaban-3.51.0裸机安装实战:从零部署Web+Executor+MySQL三体架构

Azkaban作为轻量级批处理工作流调度系统,其核心价值在于极简部署契约与强环境可控性。它不依赖Kubernetes或ZooKeeper,仅需Java运行时、关系型数据库(如MySQL)和基础文件系统即可构建完整调度能力。原理上采用Web Server(调度中枢)、Executor Server(执行单元)与Database(元数据中枢)三体协同架构,通过HTTP+JDBC松耦合通信,规避了容器网络配置陷阱与高级抽象带来的黑盒风险。技术价值体现在离线环境快速验证、小规模数仓冷启动及客户侧隔离网络等强约束场景

weixin_30608503的博客 481
上一篇: hadoop 2.2.0 fsimage和edit logs的处理逻辑
下一篇: 网线连接两个路由器
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值