luoshi0801的专栏

当原始数据中包好了诸如'\u0001'、'\u0002'、'\u0003'等hive默认的column分隔字符时，在select数据时就可能出现数据格式错乱的情况，为了避免这类现象，可以用自定义的RegexSerDe规避这类特殊字符。   例子： ac18148213512592717614403|1351259272977|0.44|ulc|302|302^R670777442^RLBX...

在利用mapred分析大数据时，程序中常常会引入hdfs上一些“辅助数据”，通常的做法在mr的启动前加载这些数据形成cache以提高效率，而mr在大并发下去访问hdfs的同一文件可能存在性能瓶颈，DistributedCache可以帮助解决。        DistributedCache</code> is a facility provided by the Map-Redu...

异步hbase包asynchbase-1.4.1.jar，maven的pom如下： <dependency>  <groupId>org.hbase</groupId>  <artifactId>asynchbase</artifactId>  <version>1.4.1</version><

  hive sql对hdfs的操作最终都会转化为mr任务，下面介绍如何将已经存在的hdfs文件“导入”hive表，很简单  条件及要求： 1）hdfs文件为经过lzo压缩的seqFile 2）seqFile数据样例     127.0.0.1      ae8186613401633040361974|1340163304040|0.1|hsf.qa.test|yuanfeng...

package com.taobao.hsf.tlog.config.shell; import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.io.InputStreamReader; import java.util.Map; import org...