空中的鱼

前置条件hadoop hive hbase环境搭建完成。搭建版本hadoop-1.0.3hive-0.9.0hbase-0.94.2zookeeper-3.3.5步骤配置hive xml，配置hbase与hive结合包 hive.aux.jars.path file:///usr/local/hive-0.9.0/lib/hive-hbase-handler-0.9.0.

官方issue未解决，不支持多网卡https://issues.apache.org/jira/browse/HBASE-2502?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel但参看hbase可以regionserver、zookeeper可以指定网卡：http://search-hado...

简述订单常规查询用到的字段可能有：店铺id、订单创建时间（不变量）、订单id、订单状态等等。如下设计适用场景：a.dp_id+created段查询(+状态或者其他filter条件) b.tid查询表设计分两张表：1.用于常规查询表，rowkey：dp_id+created+tid cf:sta...

二级索引方案 协处理器的概念、作用和类型不介绍，可以参看：http://www.cnblogs.com/ventlam/archive/2012/10/30/2747024.html，官方blog：https://blogs.apache.org/hbase/entry/coprocessor_introduction 协处理器其中的一个作用是使用Observer创建二...

执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户，例如hive。指定hive的节点kinit获取执行权限在mapreduce main代码中加入访问hbase的权限，例如：import java.io.IOException;import org.apache.hadoop.hbase.HBaseConfiguration;impor...

.rootdirhdfs://master:8020/hbaseThe directory shared by region servers and intowhich HBase persists. The URL should be 'fully-qualified'to include the filesystem scheme. For example, to specify theHDFS directory '/hbase' where the HDFS instance's

[code="xml"] hive.aux.jars.path file:///usr/local/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///usr/local/hive-0.9.0/lib/hbase-0.94.2.jar,file:///usr/local/hive-0.9.0/lib/zookeeper-3.3.5.jar[/code]将hbase-0.94.2.jar 、zookeeper-3.3.5.

name --column-family info --split-by tid[/code][b]hbae创建表语句[/b][code="sql"]create 'trade','info'[/code][b]hive创建表语句[/b][code="sql"]CREATE EXTERNAL TABLE hbase_trade(tid string,dp_id string,created string,modified s

:org.apache.hadoop.hive.hbase.HBaseSplit at org.apache.hadoop.hive.ql.io.HiveInputFormat$HiveInputSplit.readFields(HiveInputFormat.java:146) at org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization

.apache.org/docs/install/[/url]，执行sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev [*]root账户下，先后执行./configure、make、make install[/list]安装python thrift链接

sert overwrite table hive_table select a,b,c,d from hbase_table;[/code][b]全字段切表[/b][code="sql"]insert into table test_table partition(part='aa') select * from hbase_table;[/code][b]hive至hive切表[/b][code="sql"]create table test_ta

zookeeper可以指定网卡：http://search-hadoop.com/m/la35qci6P21/hbase+dns&subj=hbase+host+dns+ip+and+route+for+multi+network+interface+cardhbase集群配置时出现，部分节点不能存数据的情况，即部分节点没有region，因为该节点有多网卡，其中有网卡没有插网线却配置了ip。将没用的网卡关闭，或者将无用ip清理即可。

者其他filter条件) b.tid查询表设计分两张表：1.用于常规查询表，rowkey：dp_id+created+tid cf:status:value cf:buyer_nick:value...。查询条件的必须输入项有：created开始时间和结束时间。可有可无项：cf（列簇）中的字段，用于filter过滤。该表属于长表，字段数不多，占存储不大。 当dp_id不均衡时，可使用hash(dp_id)

/entry/coprocessor_introduction 协处理器其中的一个作用是使用Observer创建二级索引。先举个实际例子： 我们要查询指定店铺指定客户购买的订单，首先有一张订单详情表，它以被处理后的订单id作为rowkey；其次有一张以客户nick为rowkey的索引表，结构如下：rowkey familydp_id+buy_nick1 tid1:null tid2:null ...dp_id+buy_nick2 tid3:null ..

接上一篇，对hbase参数进行优化，主要是调整与查询效率相关的参数[b]count[/b][code="sql"]select count(1) from hbase_table;[/code][b]部分字段切表[/b][code="sql"]insert overwrite table hive_table select a,b,c,d from hbase_table;[/co...

[b]需求[/b]将文本数据导入至hbase中。[b]安装thrift[/b][list][*]下载[url]http://thrift.apache.org/download/[/url]，并解压[*]我使用ubuntu系统，参考[url]http://thrift.apache.org/docs/install/[/url]，执行sudo apt-get install l...

hive关联hbase表，使用select count(*) from tablename报如下异常：java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBaseSplit:org.apache.hadoop.hive.hbase.HBaseSpl

前言我们考虑为什么要将hive与hbase结合，出于hbase有唯一主键的缘故可以将其作为存储，顺手能帮我们完成海量数据“去重”的etl处理，而hive能作为我们统计计算。两者结合简直就是双剑合臂～～，但效果怎么样呢？目的基于多种hiveSQL去重方式失败后，考虑过使用mysql做近期数据去重的方式，然而不能满足全量去重的业务需求，所以考虑使用hbase的唯一主键来达到全量“去重”的效果。

需求将文本数据导入至hbase中。安装thrift下载http://thrift.apache.org/download/，并解压我使用ubuntu系统，参考http://thrift.apache.org/docs/install/，执行sudo apt-get install libboost-dev libboost-test-dev libboost-program-option

接上一篇，对hbase参数进行优化，主要是调整与查询效率相关的参数countselect count(1) from hbase_table;部分字段切表insert overwrite table hive_table select a,b,c,d from hbase_table;全字段切表insert into table test_table partition(part='a

官方issue未解决，不支持多网卡https://issues.apache.org/jira/browse/HBASE-2502?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel但参看hbase可以regionserver、zookeeper可以指定网卡：http://search-hadoop.c

前言近半年本人主要在倒腾数据，遇到海量数据去重的难题，曾经尝试过各种hivesql，然而随着数据量逐渐增大，处理耗时也越来越长，各种方案一一破产。2012年11月份提过使用HBase唯一主键的方案，随即做了相关预研（参看hive&hbase解决方案测评）。该方案由于HBase转化成hive表性能问题而搁浅。但在测评报告最后的总结中提到：或许我们可以选择数据“冷热”、以及部分字段切表来优化。2

简述订单常规查询用到的字段可能有：店铺id、订单创建时间（不变量）、订单id、订单状态等等。如下设计适用场景：a.dp_id+created段查询(+状态或者其他filter条件)                            b.tid查询表设计分两张表：1.用于常规查询表，rowkey：dp_id+created+tid   cf:status:value  c

执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户，例如hive。指定hive的节点kinit获取执行权限在mapreduce main代码中加入访问hbase的权限，例如：import java.io.IOException;import org.apache.hadoop.hbase.HBaseConfiguration;import org.

环境：security cdh 5.2.0security hbase启动mapreduce的账户为hive或者others（非hbase），如下假设以bi账户为例 出发点：mapper/reduce程序中读取hbase中数据，或者写入hbase数据 踩过的坑：在mapreduce的job创建过程中加入如下认证代码UserGroupInformation.s

前言近半年本人主要在倒腾数据，遇到海量数据去重的难题，曾经尝试过各种hivesql，然而随着数据量逐渐增大，处理耗时也越来越长，各种方案一一破产。2012年11月份提过使用HBase唯一主键的方案，随即做了相关预研（参看hive&hbase解决方案测评）。该方案由于HBase转化成hive表性能问题而搁浅。但在测评报告最后的总结中提到：或许我们可以选择数据“冷热”、以及部分字段切表来优化。...

[list][*]前置条件[/list]hadoop环境运行正常。[list][*]步骤[/list]下载hbase压缩包hbase-0.94.2.tar.gz，并解压tar -zxvf *.gz配置hbase-site.xml[code="xml"]hbase.rootdirhdfs://master:8020/hbaseThe director...

[b]前置条件[/b]hadoop hive hbase环境搭建完成。[b]搭建版本[/b]hadoop-1.0.3hive-0.9.0hbase-0.94.2zookeeper-3.3.5[b]步骤[/b]配置hive xml，配置hbase与hive结合包[code="xml"] hive.aux.jars.path file:///usr/loca...

[b]sqoop语句[/b]以tid为主键，info为列族[code="html"]sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family...

hive关联hbase表，使用select count(*) from tablename报如下异常：[code="html"]java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBaseSplit:org.apache.hadoop.hive....

[b]前言[/b]我们考虑为什么要将hive与hbase结合，出于hbase有唯一主键的缘故可以将其作为存储，顺手能帮我们完成海量数据“去重”的etl处理，而hive能作为我们统计计算。两者结合简直就是双剑合臂～～，但效果怎么样呢？[b]目的[/b]基于多种hiveSQL去重方式失败后，考虑过使用mysql做近期数据去重的方式，然而不能满足全量去重的业务需求，所以考虑使用hbase的唯...