编译hadoop2.6.0-cdh5.7.0 native支持snappy & 编译中遇到的坑及解决办法

最新推荐文章于 2021-08-20 19:27:31 发布
最新推荐文章于 2021-08-20 19:27:31 发布
阅读量2k 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mmp591/article/details/78321168

前沿

使用官网自带的hadoop-2.6.0-cdh5.7.0.tar.gz所解压之后，安装部署的hadoop环境，往往在执行checknative命令的时候，发现诸如zlib、snappy、lz4、bzip2、openssl的检查不通过。而这样会对我们使用各种压缩的时候带来不便，因此我们需要自己去手动编译native，并使其支持snappy。

编译准备

编译前我们需要做如下几步：

  • 部署JAVA环境
  • 安装maven
  • 安装Protocol Buffer 2.5.0
  • 安装Findbugs

上述步骤的安装可以参考博文：Hadoop源码编译

为了支持native，我们需要手动去安装支持这些压缩的本地库，具体操作如下：

$>yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
$>yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake
 
 
 
    
  
  
  • 1
    • 
  
  
  • 2
    •
最低0.47元/天 解锁文章

200万优质内容无限畅学
whisky__f
关注
hadoop_hadoop-2.6.0-cdh5.7.0源码编译支持压缩以及伪分布式部署
whiteblacksheep的博客
07-09 637
1.需求与设计 1.1需求 直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群不支持文件压缩，生产上是不可接受的，故需要将hadoop源码下载重新编译支持压缩 1.1概要设计 下载hadoop源码，使用maven编译，使其支持压缩。并成功进行伪分布式集群部署验证压缩功能。 |组件名称|组件版本 |百度网盘链接 2.环境需求以及部署规划 2.1 硬件环境 一...
hadoop-2.6.0-cdh5.7.0源码编译
weixin_38729343的博客
08-01 351
一、说明 直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群不支持文件压缩，生产上是不可接受的，故需要将hadoop源码下载重新编译支持压缩 二、编译hadoop支持压缩 1、编译流程： 下载软件——>安装必要依赖库——>添加用户并创建文件夹上传软件——>安装JDK并添加环境变量——>安装maven并配置和添加环境变量——>安装...
编译hadoop2.6.0-cdh5.7.0 native支持snappy & 编译中遇到的坑及解决办法
呼呼的小窝
10-23 879
前沿使用官网自带的hadoop-2.6.0-cdh5.7.0.tar.gz所解压之后，安装部署的hadoop环境，往往在执行checknative命令的时候，发现诸如zlib、snappy、lz4、bzip2、openssl的检查不通过。而这样会对我们使用各种压缩的时候带来不便，因此我们需要自己去手动编译，使其支持native。编译准备编译前我们需要做如下几步： 部署JAVA环境 安装maven 安
Hadoop在安装snappy过程中的问题
weixin_33806300的博客
11-01 279
环境介绍： Linux2.6.32-504.el6 hadoop-2.7.3 openjdk-1.7 问题： 　　测试机中已经有一套搭建好了的Hadoop集群，所以在往生产环境部署Hadoop集群时，直接将测试机中编译好的Hadoop版本上传到生产环境中即可，然后修改下配置文件集群就搭建成功了。但由于当时在搭建集群时没有考虑使用snappy来对文件压缩，所以在Hadoop的动态库...
Hadoop出现 native snappy library not available: SnappyCompressor has not been loaded的解决办法...
weixin_30384217的博客
01-19 1577
我目前测试环境是Hadoop 2.7.1, 搭建群集之后经常出现错误“native snappy library not available: SnappyCompressor has not been loaded”， 我目前是两个结点， 单台是没有问题的， 看了log之后也找不到什么原因， 烦恼很久， 后面发现如果 是两台结点， 会不会是读取hdfs上面的lib文件， 而不是读取...
this version of libhadoop was built without snappy support. 解决方案
minghai
08-20 1180
线上遇到该问题，hadoop checknative 显示是支持 Snappy 压缩的 [yarn@Centos hadoop]$ bin/hadoop checknative -a 21/08/20 17:52:39 INFO conf.Configuration: Current hadoop.security.authentication = simple 21/08/20 17:52:39 INFO bzip2.Bzip2Factory: Successfully loaded & init
在hadoop2.6.0下安装sqoop1.4.5问题解决
按照自己想象行走的程序员
10-13 657
csdn的体验不是很好，有没有其他的平台推荐推荐
hadoop-2.6.0-cdh5.7.1.tar.gz(编译版)
05-10
编译环境如下： jdk1.7 apache-maven-3 protobuf-2.5.0 findbugs-1.3.9 gcc gcc-c++ make cmake openssl zlib ncurses snappy bzip2 lzo lzop autoconf automake
hadoop-2.6.0-cdh5.7.0源码编译支持压缩
大门的博客
07-13 352
前言 直接从官网上下载的hadoop-2.6.0-cdh5.7.0.tar.gz部署后，不支持压缩，生产上是不可接受的，可以用hadoop checknative命令查看hadoop所支持的本地库： [hadoop@10-9-15-140 ~]$ hadoop checknative 19/07/10 20:52:15 WARN util.NativeCodeLoader: Unable to l...
大数据学习23：hadoop-2.6.0-cdh5.7.0 编译，支持 native 和 snappy
ggwxk1990的博客
10-22 661
目标： hadoop-2.6.0-cdh5.7.0 支持 native 和 snappy，对于压缩需要对hadoop进行编译。 检查部署耳朵cdh hadoop是否支持压缩[root@hadoop002 bin]# hadoop checknative -a步骤： 之前安装需要的软件和调试，步骤省略： 安装findbugs 并 配置环境变量 安装protobuf-2
hadoop 2.6 native snappy
06-26
编译了2个多小时编译出来的，分享出来给大家，hadoop2.6 native本地库文件，支持snappy压缩(注：网上下载的大部分不支持snappy)
Hadoop源码编译以支持压缩
11号车厢
07-11 371
文章目录1、环境要求2、编译前准备2.1 添加用户和相关目录2.2 安装lrzsz并上传软件2.3 安装必要的依赖库2.4 安装JDK2.5 安装maven2.6 配置maven2.7 安装protobuf3、开始编译3.1 编译3.2 测试是否支持压缩 1、环境要求 hadoop我们下载的是源码包，而不是hadoop-2.6.0-cdh5.7.0.tar.gz包，直接使用它hadoop集群不支持...
hadoop集群安装压缩工具snappy(用于hbase)
keeper的博客
09-06 726
hadoop集群安装：https://blog.csdn.net/weixin_40596016/article/details/80392109     之前配置ganglia监控hadoop集群，发现cpu的负载并不是很高。所以为了节省服务器的存储成本，并提高吞吐，打算开启HBase的数据压缩。主流的HBase压缩方式有LZO和Snappy，Snappy的压缩比会稍微优于LZO。相比于gzi...
hadoop的snappy压缩出错
SJH2725970073的博客
10-30 1568
说明你的本地hadoop没有安装snappy压缩。 可以使用自己编译snappy，或者使用已安装好snappy压缩的 hadoop替换自己原来的hadoop。hadoop3.x带snappy(可用于windows本地开发) java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. at org.apache.hado
在执行bin/hadoop checknative 命令时
tao_wei162的博客
10-24 2087
刚装的hadoop2.2的集群，在执行bin/hadoop checknative 命令时，出现如下警告： bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的lib64位目录下，查看libbz2的so文件，发现也正常 Java代码   [root@ph2 hadoop-2.2.0]# ll /lib64/libb*   lr...
hadoop，hbase添加snappy压缩算法
qq_43680345的博客
11-13 594
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://mp.csdn.net/mdeditor/103046844 参考博文： http://blog.cheyo.net/197.html https://blog.csdn.net/bbaiggey/article/details/53583923 https://g...
HBase开启Snappy压缩
热门推荐
liuxiangke0210的专栏
03-06 1万+
原文链接：http://www.kissyu.org/2016/10/06/HBase%E5%BC%80%E5%90%AFSnappy%E5%8E%8B%E7%BC%A9/ 背景 HBase是目前主流的Nosql数据库之一，由于其优秀的水平扩展能力，业界常将其用来存储海量级的数据。在我们使用HBase的时候，为了节省服务器的存储成本，建议开启HBase的数据压缩特性。主流的HBase压
hadoop源码编译：支持snappy压缩
HAHA的专栏
02-17 4879
hadoop源码编译：支持snappy压缩      在大数据的情况下，数据量都是特别的大，有时候呢，我们想把数据进行压缩之后在进行处理，这样呢可以大幅度的减少磁盘的IO而且还可以减少网络传输的压力，具体来讲对于本地的数据任务来讲，例如在map任务下，适当的对数据进行压缩，可以减少磁盘的IO，在涉及到reduce任务的时候呢，reduce就会从远程的磁盘进行数据拷贝，那么压缩数据就会减缓
centos 编译hadoop2.6.0-cdh-5.10.0源码
岁月静好，做自己。
04-11 1430
在网上搜了一篇博客，然后按照上面的步骤进行操作，http://blog.csdn.net/linlinv3/article/details/49358217 遇到的问题： 1、java版本：一定要jdk7,不能是jdk8，否则报错.提示java版本有问题。 2、安装protoc ， ./configure –prefix=/usr/local/protoc/ ; make; mak
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值