kfcman的专栏

一、环境说明1、机器：一台物理机 和一台虚拟机2、linux版本：[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK: [spark@S1PA11 ~]$ java -version java version "1.6.0_27" Java(TM) S...

http://www.cnblogs.com/shitouer/archive/2013/01/14/2859475.html 

 转载请标明出处：http://blackwing.iteye.com/blog/1943575  之前为HBase增加SNAPPY压缩的一篇文章：http://blackwing.iteye.com/blog/1942037 本以为这样hbase就能使用SNAPPY了，但发现RS的log不停报错： Java代码  IOException: Compressi...

在将mysql数据导入到hbase数据的过程中，发现hbase的数据容量增加很快， 原本在mysql存储30G容量的数据导入到hbase一直增加到快150G（还未完全导入，手动结束）， 而采用默认3个备份储存的话，基本上真个集群有450G的容量。 查看了一些资料，发现hbase的储存确实耗空间，一般hbase采用压缩算法来解决，其中snappy 的算法收到Goog...

下面是自己编译hadoop源码， 然后将native库上传覆盖hadoop的过程0 hadoop native库:在hadoop压缩时 调用此库文件的jni(.so)来调用linux系统的功能, 一般我们的linux机器都是64位，而官网下载的hadoop安装文件都是32位编译的，因此如果不在你本机编译的话，想使用hadoop压缩功能受限。 0.1 如何知道你的native库是否...

15/06/25 00:14:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决办法：增加调试信息[hadoop@master001 native]$ export H...

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable在配置的时候，频繁出现这个问题，在网上找了相关资料，都是说libray包没找到。检查所有配置，一切都正常。都配置正常。修改过：etc/profile问题还是没解决。 之后...

开启：export HADOOP_ROOT_LOGGER=DEBUG,console关闭：export HADOOP_ROOT_LOGGER=INFO,console