panhongan的专栏

package com.cmcm.hadoop.mapred.lib; import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat; import org.apache.hadoop.io.Text; public class SuffixMultipleTextOutputFormat extends MultipleTextOu

【导读】     一般做数据分析往往需要对map/reduce产出的结果进行查询，一个困惑的问题就是被查的少量数据落在哪个part文件中呢？启动一个map/reduce任务来查，性价比太低了。 为此，本文介绍一种支持快速查询的自定义Partitioner---FirstKeyIntPartitioner。 【正文】 1. 生成并指定map输出的key。 [1] 约定：map输出的

【导读】 还在整理中

【导读】     hadoop要给不同的用户赋予不同权限，保障hdfs的数据安全。 【正文】 1. 增加用户 useradd -g 2. 修改目录的拥有者 sudo -u hdfs hdfs dfs -mkdir /user/app_user/ 以hdfs账号创建一个目录 sudo -u hdfs hdfs dfs -chown -R : /user/app