空中的鱼

mapreduce的TextInputFormat很方便的处理行行的文本，但遇到xml的时候就很纠结了，曾经采用分隔数据重写FileInputFormat（网上有资料），可以解决此问题，但会获取很多噪音数据。 后来想到以起始结束来获取数据，重写FileInputFormat没有这个技术能力，呵呵。 后来一直找资料，看了一篇http://www.linezing.com/blog/?p=489，可以

好久没写mr了，今天写了个在eclipse上运行很顺畅，但是使用hadoop jar命令方式时一直报错： 13/03/07 14:44:34 INFO mapred.JobClient: Task Id : attempt_201303031058_0328_m_000007_0, Status : FAILED java.lang.RuntimeException: java.lang.C

环境： security cdh 5.2.0 security hbase 启动mapreduce的账户为hive或者others（非hbase），如下假设以bi账户为例   出发点： mapper/reduce程序中读取hbase中数据，或者写入hbase数据   踩过的坑： 在mapreduce的job创建过程中加入如下认证代码UserGroupInformation.s