- 博客(9)
- 收藏
- 关注
RSS订阅原创 5 mapreduce的组合，排序，分组
mapreduce的组合，排序，分组在使用mapreduce处理数据时，总有种“简单，粗暴”的感觉，就像一个傻大个一样。为了能更加灵活的处理分析数据，以及将这个傻大个使用的更加得心应手，今天总结下这位傻大个在处理数据时使用的自身的一些组件。1.combiner（组合）当然可能大家已经非常熟知了，我在这里就不卖弄了，简单的解释一下使用它的优势，为大家灌个耳音，combiner的作用是组合map阶段生成
2016-11-15 16:30:54
691
原创 mapreduce操作hbase ClassNotFoundException
mapreduce操作hbase时java.lang.ClassNotFoundException问题
2016-11-09 15:04:34
800
原创 hbase非正常删除表之后，以原来表名删除和创建时报错问题
hbase非正常删除表之后，以原来表名删除和创建时报错问题今天在重新格式化了hadoop集群之后出现了一系列问题，记录下。先说下重启的原因 （1）首先是必备条件，我们的hadoop集群式测试环境，里面的数据不太多，大多数都是我们人工加上去的， （2）hadoop的HA有问题。一个namenode总是启动不了（原因是namenode数据文件没有同步，将hadoop.tmp.dir指定的目录在其他n
2016-11-07 14:13:07
1678
原创 4.hive整合hbase
目标：能通过hive访问hbase,实现操作简化查看了网上一些博文，主要通过博文：wulantian的博文进行整理的1，在创建表时与hbase进行对应create table hbase_tb_user( id int, name String, remark String )stored by 'org.apache.h
2016-10-31 13:46:23
340
原创 2.hbase集群搭建
1.上传解压2.把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.修改配置文件 3.1 vim hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGES_ZK=false
2016-10-20 16:44:03
333
原创 1.hadoop集群搭建
本文适合对hadoop和linux稍有了解的人群，新手请观看其他更为详细的博文主机名IP安装的软件 运行的进程说明hadoop001192.168.100.101jdk、hadoopNameNode、DFSZKFailoverController had
2016-10-20 14:45:07
575
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人