maclaren001的专栏

记得好像是年初的时候想学下NoSql，就google了下HBase的搭建步骤后就在虚拟机里面的OpenSuse搭了个HBase+Hadoop+Zookeeper的环境，过程不是很顺利，遇到各种问题，和刚开始学java连mysql的过程相比，是复杂得多了，这个地方确实是有值得优化的地方，如果能提供类似传统RDBMS的可视化的安装包，默认配置伪集群模式，一路傻瓜式的next安装，这样对于新手来说就降低

1.安装jdk修改etc/profile,在末尾添加JAVA_HOME=/home/mclaren/softs/jdk1.6.0_32JRE_HOME=/home/mclaren/softs/jdk1.6.0_32/jrePATH=$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

日常开发中可能会碰到需要编写MapReduce从HDFS上读取数据，然后导入HBase。一般会使用到两种方式，下面分别介绍下。第一种方式：指定OutputFormatClass为TableOutputFormat，构造Put对象，然后设置到OutputValueClass去。 Configuration conf = ConfSource.getHBaseConf();

平时开发的时候会遇到很多需要将HDFS上多个数据源的某个字段做为关联字段，得出多个数据源的笛卡儿积。了解了MapReduce多数据源关联的基本思路后就很简单。基本思路：在Map输入阶段获取输入路径，在Map输出阶段根据路径的不同加以区分，即在将关联的列作为Key,在Value中加以区分是哪个数据源的数据，接着在Reduce的输入阶段，在reduce方法的入参会得到所有Key相同的集合，这样便可

前记断断续续使用HBase有2，3年的时间了，由于都是工作驱动，需要用到的时候才重新拿起来，过段时间又忘了差不多了，连最基本的只是还需要度娘和谷歌，感觉挺失败的，和当初希望成为大数据方面的专家背道而驰，越走越远。正好刚离职，有这个闲工夫，想了下还是需要有东西沉淀下来，不然对知识掌握上使用游击战是不行的，还是需要系统的整理这些知识点，一来可以查缺补漏，二来可以将脑中的知识片段捋一捋，更深刻，