
hadoop
cimon_an
宁静致远
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop中带后缀的多路输出part文件
package com.cmcm.hadoop.mapred.lib; import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat; import org.apache.hadoop.io.Text; public class SuffixMultipleTextOutputFormat extends MultipleTextOu原创 2014-10-03 15:44:09 · 2792 阅读 · 0 评论 -
FirstKeyIntPartitioner---hadoop中支持快速查询的自定义Partitioner
【导读】 一般做数据分析往往需要对map/reduce产出的结果进行查询,一个困惑的问题就是被查的少量数据落在哪个part文件中呢?启动一个map/reduce任务来查,性价比太低了。 为此,本文介绍一种支持快速查询的自定义Partitioner---FirstKeyIntPartitioner。 【正文】 1. 生成并指定map输出的key。 [1] 约定:map输出的原创 2014-11-25 21:44:40 · 687 阅读 · 0 评论 -
hadoop yarn的内存和cpu参数配置
【导读】 还在整理中原创 2015-01-06 23:54:45 · 1509 阅读 · 0 评论 -
hadoop用户权限管理
【导读】 hadoop要给不同的用户赋予不同权限,保障hdfs的数据安全。 【正文】 1. 增加用户 useradd -g 2. 修改目录的拥有者 sudo -u hdfs hdfs dfs -mkdir /user/app_user/ 以hdfs账号创建一个目录 sudo -u hdfs hdfs dfs -chown -R : /user/app原创 2015-01-06 23:33:52 · 3366 阅读 · 0 评论