cdh版hadoop2.6.0-cdh5.13.1源码编译

最新推荐文章于 2025-06-24 17:39:58 发布

Vist_1

最新推荐文章于 2025-06-24 17:39:58 发布

阅读量3.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop linux

本文链接：https://blog.youkuaiyun.com/vist_1/article/details/79162247

本文详细介绍了如何在Linux环境下编译CDH版Hadoop 2.6.0-CDH5.13.1。首先确定下载版本，接着安装必要的依赖库，包括g++, autoconf等。然后安装JDK并配置环境变量，再安装Maven，解压并配置环境变量。之后安装protobuf 2.5.0，同样进行配置。最后将Hadoop源码解压，执行`mvn clean package`命令进行编译，编译成功后，生成的包位于指定目录下。" 104871676,3095859,iOS13适配：解决presentViewController非全屏问题,"['iOS开发', 'iOS13适配', 'UIViewController', 'UINavigationController']

  首先确定要编译的hadoop版本， 
 本次编译的是Cloudera公司的hadoop-2.6.0-cdh5.13.1 

 
 Apache版下载地址：http://mirrors.shuosc.org/apache/hadoop/common/ 

 
 cdh版下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 

  编译步骤： 

  在虚拟机上安装如下软件和依赖库：（可在源码的BUILDING.txt中查看需要的软件及版本） 

 
 第一次编译一定要联网 

 
 1.安装依赖库 

  apt-get下载： 

$ sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

 
 也可用yum源下载： 

最低0.47元/天解锁文章

新学期VIP享超值加赠

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Vist_1

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

CDH版本hadoop的源码编译

面向星辰大海

10-10

3592

在安装CDH版本的hadoop的时候, 我们下载下来的CDH的hadoop安装包中, 并没有native包, 所以我们在使用本地库 (本地库可以用来做压缩, 以及支持C程序等等) 的时候就会出问题, 好了废话不多说, 接下来看如何编译. 首先我们打开src目录下的BUILDING.txt文件能够看到, 在官方说明中已经写明了编译所需要的准备工作准备工作: linux系统 (准备一台干净的...

CDH hadoop 编译

wjl7813的博客

01-18

451

最好是 163.yum epel.repo 的yum 资源准备工作yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/maven/maven-3/3.3.9/binaries/apac

3 条评论您还未登录，请先登录后发表或查看评论

hadoop2.6.0-cdh5.14.0 源码

06-07

hadoop-2.6.0-cdh5.14.0 源码。

CDH 的介绍、安装与使用详解：一篇文章搞定大数据集群部署

最新发布

m0_51350088的博客

06-24

1041

是由Cloudera公司提供的一个集成了Apache Hadoop以及相关生态系统的发行版本。CDH是一个功能强大的大数据平台，简化和加速了大数据处理分析的部署和管理。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。

cloudera-hive-cdh6.3.2源码包

07-28

cloudera-hive-cdh6.3.2源码包

编译CDH4.2.2源码

xiao_jun_0820的专栏

05-06

949

centos 6.3 32位操作系统 1 mvn ,jdk具体安装此处不细说了，重点介绍编译hadoop源码相关 Native libraries On Linux, you need the tools to create the native libraries. For RHEL (and hence also CentOS): 需要先执行：yum -y install

cloudera CDH5.13.1 Hadoop2.6.0 测试运行wordcount大数据统计作业

LinBSoft的专栏

02-28

1911

cloudea 大数据实验平台安装好了，做点什么呢？还是从hello world开始吧1. 查看hadoop版本root@cdh01:~# hadoop version如果能如上正常显示，说明可以使用hadoop测试程序了2. 查看有哪些测试程序可用root@cdh01:~# hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.ja...

debian系统编译安装部署单节点hadoop

雨时水滴猿先晓的博客之家

05-27

406

本次以hadoop2.x版本为例，3.x版本与此流程类似，部分区别文中已标明。下载hadoop-2.6.0-cdh5.13.1.tar.gz压缩包（3.x版本请下载相应压缩包） 1.进行解压tar -zxvf hadoop-2.6.0-cdh5.13.1.tar.gz（3.x版本请解压相应压缩包） 2.vi /etc/hosts进入该文件查看用户名 3.vi ~/.bash_profile配置当前用户底下的环境变量（根据自己的java版本号进行相应修改）配置jdk路径，jre路径，ha

cdh 5.13下载列表

蘑菇丁的专栏

07-22

1753

http://archive.cloudera.com/cdh5/cdh/5/avro-1.7.6-cdh5.13.0.tar.gz http://archive.cloudera.com/cdh5/cdh/5/bigtop-jsvc-1.0.10-cdh5.13.0.tar.gz http://archive.cloudera.com/cdh5/cdh/5/bigtop-tomcat-6.0...

Apache Spark2.3.2源码编译+部署HA详解(CDH5.13.1环境)

zxz306418932的博客

07-17

594

前言：首先为什么要用apache spark2.3.2的源码来自己编译？因为spark一般需要结合Hadoop来使用，所以需要对应Hadoop相应的版本。 CDH编译好的spark，可能在结合其它组件使用的时候，容易出现一些问题。简介：网址：http://spark.apache.org/ 从官网简介可以看出：快如闪电的统一分析引擎 Apache Spar...

cdh hadoop 源码地址

zhouzhoumi的专栏

05-31

1101

CDH hadoop 源码地址，包含所有版本 git:https://github.com/cloudera/hadoop-common.git

hadoop-2.6.0-cdh5.14.0 hadoop.dll winutils

06-08

一开始使用的是原生的hadoop2.6.0编译的hadoop.dll，但是一直遇到这个问题Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 所以自己就用cdh的hadoop源码编译了一遍，踩了很多坑。最终还是解决了，能在windows中调试mapreduce了。 ps:csdn上看到同样的资源竟然要10分，下不起下不起。只能自己做了，5分服务大众。。。

phoenix4.13.1-hbase1.2-cdh5.13源码可编译parcel集成

01-17

http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.13.2/parcels/ 请自行跳转至官方下载对应parcels

cdh6.1.0搭建手册.pdf

04-01

CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建，是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码，是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具，提供了各种能够快速稳定运行的数据计算框架，如Apache Spark；使用Apache Impala做为对HDFS，HBase的高性能SQL查询引擎；也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库；Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化，提高运行效率；同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理，配置和监控Hadoop以及其它所有相关组件，并有一定的容错容灾处理；还有一系列实用的组件等等。

apache、CDH、HDP hadoop源码下载

TURING.DT

05-27

5334

apache源码 http://hadoop.apache.org/releases.html CDH源码 http://archive-primary.cloudera.com/cdh5/cdh/5/ HDP源码 http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html#/HDP/centos6/2.x/u

CDH版本hadoop重新编译

不管多累生活也要精致

10-09

263

一、编译环境的准备（资源链接如下） https://pan.baidu.com/s/1GoOW30RGR1B21JkuKdHFdA 准备linux环境准备一台linux环境，内存4g或以上，硬盘40g或以上，这里使用的是Centos6.9 64位的操作系统（注意：一定要使用 64 位的操作系统）。关闭防火墙命令： service iptab...

CDH版本Hadoop重新编译

汉子一枚

11-12

6131

目标：重新编译CDH版本的Hadoop 为什么要编译Hadoop 由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题，好了废话不多说，接下来看如何编译由于后续课程需要使用snappy进行压缩数据，而CDH给出的Had...

CDH源码下载地址 5.x

稼轩

12-26

2964

http://archive-primary.cloudera.com/cdh5/cdh/5 https://archive.cloudera.com/cdh5/parcels/ 两个地址都点着试试, 源码比较多, 使用Ctrl+F搜索你要下载的源码关键字

Apache/CDH 版本下 Hadoop 编译 Eclipse 插件总结

Zephyr's Blog

01-25

2589

一背景介绍二 cloudera CDH5 开发方式及 CDH eclipse 插件编译总结 1 hadoop 插件开发方式 2 CDH 开发方式三 Hadoop Eclipse 插件制作 1 Hadoop25 Eclipse插件制作 2 CDH5 Integration with Eclipse 3 Hadoop 220 编译 hadoop-eclipse-plugin 插件四各

Linux平台CDH Hadoop-2.6.0-cdh5.16.2支持Snappy压缩的共享版

根据上述知识点，我们可以了解到，分享者提供的压缩包“hadoop-2.6.0-cdh5.16.2.tar.gz for linux 支持snappy”是一个自定义编译的Hadoop CDH发行版，专门为Linux操作系统设计，并且支持高效压缩算法Snappy。...