bingjie1217的专栏

HBase简介2HBase是什么？ HBase是Apache Hadoop中的一个子项目，HBase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce框架(算法)对HBase进行操作，如下图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动J

从HBase读取数据MR操作后写入HBase1、blog实例分析业务需求是这样：找到具有相同兴趣的人，我们简单定义为如果author之间article的tag相同，则认为两者有相同兴趣，将分析结果保存到HBase。除了上面介绍的blog表外，我们新增一张表tag_friend，RowKey为tag，Value为authors,大概就下面这样：我们省略了一些跟分析无关的Col

今天启动hadoop文件系统一直处理安全模式，日志报错（The ratio of reported blocks 0.9714 has not reached the threshold 0.9990. Safe mode will be turned off automatically.），究其原因是之前做hbase存储时要求数据存储三份，而我的hadoop为伪分布模式，数据只能有一个副本，通过

在HDFS上面最不明确的事情之一就是数据的冗余。它完全是自动进行的，因为无法得知其中详细的信息，我们需要做的就是相信它。HBase完全相信HDFS存储数据的安全性和完整性，并将数据文件交给HDFS存储。正是因为HDFS的数据冗余方式对于HBase来说是完全透明的，产生了一个问题：HBase的效率会受到多大的影响？说的简单一点，当HBase需要存取数据时，如何保证有一份冗余的数据块离自己最近？当我们

3.1  SkipFilter这个过滤器只作用到ValueFilter上。ValueFilter会返回所有满足条件的row及对应的列。而加上SkipFilter以后。会发现如果某一行的某一列不符合条件，则这一行全部不返回了。package filter;import java.io.IOException;import org.apache.hadoop.hbase.KeyVa

2.1 SingleColumnValueFilter选定列簇和某一列，然后与列的value相比，正确的返回全部的row，注意如果某一行不含有该列，同样返回，除非通过filterIfColumnMissing 设置成真。构造函数SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareOp compareOp, by

对scan或get应用多个Filter，示例：package filter;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.hbase.client.ResultScanner;import org.apache.hadoo

1.1  RowFilter构造函数public RowFilter(CompareOp rowCompareOp, WritableByteArrayComparable rowComparator) {}  选择比较rowkey来确定选择合适的行信息。 示例代码：package filter; import java.io.IOException

HBase 过滤器(Filter)是HBase提供的一个强大的高效查询的功能，可以和Scan或Get操作配合使用。用户可以在客户端通过方法：       setFilter(filter) 配置(如RowFilter)，然后将过滤器应用在Region servers端，将符合过滤条件的数据返回给客户端。下面是HBase Filter的继承体系示意图：

1)    HBase强制删除一个表情景：由于内网测试环境hbase并没有安装“SNAPPY”压缩，而建表时执行了alter 'TrojanInfo', {NAME => 'i', COMPRESSION => 'SNAPPY'}强制删除表：1、强制删除该表在hdfs上的所有文件(路径根据实际情况而定）：./Hadoop fs -rmr/hbase/TrojanInfo

从HDFS读取数据MR操作后写入HBase1、WordCount示例package mapred;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HB

HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错HBase Shell命令时用键盘上的“Delete”进行向前删除,“Backspace”向后删除。在启动

从HBase读取数据MR操作后写入HDFSblog实例分析业务需求是这样：找到具有相同兴趣的人，我们简单定义为如果author之间article的tag相同，则认为两者有相同兴趣，将分析结果保存到HDFS。示例代码如下：package mapred;import java.io.IOException;import org.apache.hadoop.conf.Configuration;

package test; import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry; import org.apache.

伪分布安装下载、解压文件tar xzvfhbase-0.94.1.tar.gz 修改配置文件1、  hbase-env.shexport HBASE_MANAGES_ZK=false2、  hbase-site.xmlhbase.rootdirhdfs://ubuntu:9000/hbasehbase.cluster.distributed

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同

1.2 HBase 使用场景和成功案例有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构，能够告诉你很多。因为HBase有许多公开的产品部署，我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。 注意：不要自我限制，认为HBase只能解决这些使用场景。它是一个初生的技术，根据使用场景进行创新正驱动着系统的发展。如