u013887751的博客

hadoop hbase java API 增删查改

前置条件：hadoop　已经安装。 一、配置参数文件   1.hbase-env.sh    export JAVA_HOME=/usr/local/jdk1.8.0_40  #指定jdk    export HBASE_MANAGES_ZK=true   #使用hbase 内部托管的zookeeper      2.hbase-site.sh        

以下主要介绍BulkLoad导入数据到hbase 中 HBase有多种导入数据的方法，最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出，或者使用标准的客户端API， 但是这些都不是非常有效的方法。  Bulkload利用MapReduce作业输出HBase内部数据格式的表数据， 然后将生成的StoreFiles直接导入到集群中。与使用HBas

前言 在HBASE持续写入的时候遇到一种奇怪的情况，写着写着HBase就会出现一阵写入速度为0的情况。在网上查了很多资料，终于找到一篇外文的资料，有详尽的实验和解决方案，在此做一下翻译。原文连接 （需要翻墙） 翻译 问题 我们的程序是通过mapreduce job运行hive query。但mapper程序运行的时候会出现失败（不断的重复失败，最终导致job被kill），报错如下

用MR向hbase 写数据，在这里只用mapper不用hbase,避免mapper向reduce传输数据产生的IO网络流，从而提高效率。 第一步：编写代码，打jar包 package com.ww.hbase.mrimport; import java.io.IOException; import org.apache.hadoop.conf.Configu

搜搜 日榜 周榜 月榜 总榜 HBase高级配置跟调整(1) 2015-03-25 05:52　|　4932人阅读　|　来源 HBase高级配置和调整(1)         在对HBase集群进行调整之前，你需要先知道它的性能如何。因此，我们将使用Yahoo! Cloud Serving Benchmark（YCSB，雅虎云服务

参考连接 http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hbase_new_features_and_changes.html#concept_mmb_nbd_k4_unique_2