jbm

HDFS支持权限控制，但支持较弱。HDFS的设计是基于POSIX模型的，支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下，可以使用下面的命令修改文件的权限、文件所有者，文件所属组：hadoop fs –chmod （修改文件所有者，文件所属组，其他用户的读、写、执行权限）haddop fs –chown （修改文件所有者）hadoop fs –chgrp （修...

今天在使用hive 进行数据统计时，发现了一个问题使用类似如下的两个sql统计出的结果不一致： select count(*) from tbl_simpledata where column = '-1';select count(column) from tbl_simpledata where column = '-1'; 查询hive的参考文档发现如下的信息：...

最近在编写Hadoop 的MapReduce程序的时侯，学到了不少东西，记下来备忘：1.  Mapper和Reducer的上下文执行环境信息：   在编写Mapper类时，一般使用如下的类继承声明： public class DistinctProcessor extends MapReduceBase implements Mapper<Text,Text,Text,Tex...

 hadoop是一个分布式存储和分布式计算的框架。在日常使用hadoop时，我们会发现hadoop不能完全满足我们的需要，我们可能需要修改hadoop的源代码并重新编译、打包。下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译。 因项目使用的hadoop版本是0.20.2，所以我们基于hadoop-0.20.2来进行二次开发。 （1）首先从svn上签出...

在linux下安装zookeeper时，出现了如下的错误：  [hadoop@hadoop-master bin]$ ./zkServer.sh startJMX disabled by user requestUsing config: /opt/zookeeper-3.3.3/bin/../conf/zoo.cfgStarting zookeeper ... STA...