大数据训练营

[java] view plaincopy本博客是hbase使用filter快速高效查询的方法，我会慢慢补齐  几大Filters1、Comparision Filters     1.1  RowFilter1.2 FamilyFilter     1.3 QualifierFilter     1.4 ValueFilter 

hbase python 客户端使用中的坑----进行协议解析时，总是会遇到各种各样的数据转换的问题，从二进制到十进制，从字节串到整数等等废话不多上，直接上例子整数之间的进制转换:10进制转16进制: hex(16)  ==>  0x1016进制转10进制: int('0x10', 16)  ==>  16类似的还有oct()， bin()

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录      put '表名称', '行名称', '列名称:', '值'查看记录

HBase性能优化方法总结（一）：表的设计本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分做BlockCache，用来读，当然Memstore也有读的功效，不过由于Hbase的scan机制，从Memsotre读到数据的效果一般。 今天主要来分析下Hbase的BlockCache机制，并且阐述其中碰到的一个RTE异常。 话不多说，首先来看看Hbase的

hbase中的缓存分了两层：memstore和blockcache。     其中memstore供写使用，写请求会先写入memstore，regionserver会给每个region提供一个memstore，当memstore满64MB以后，会启动flush刷新到磁盘。当memstore的总大小超过限制时（heapsize * hbase.regionserver.global.

Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。通常情况下，想在CPU和IO之间取

因为集群硬盘紧俏，绝对对原来的表加上COMPRESSION=>LZO属性。但是创建表，长时间没有反馈。决定drop掉这张表，但是始终drop失败。重启集群，hbase 60010界面显示有region transaction。为创建失败的表region，在PENDING_OPEN和CLOSED之间跳。describe 表失败， enable表失败，disable表失败，从60010界面查看表失败。

1.HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运

当Table随着记录数不断增加而变大后，会逐渐分裂成多份splits，成为regions，一个region由[startkey,endkey)表示，不同的region会被Master分配给相应的RegionServer进行管理：3.3 -ROOT- && .META. TableHBase中有两张特殊的Table，-ROOT-和.META.Ø  .META.：记录了

建表和生成数据:package youling.studio.page;import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.Random;import org.apache.hadoop.conf.Configuration;

几个相关类与HBase数据模型之间的对应关系java类 HBase数据模型HBaseAdmin 数据库（DataBase)HBaseConfigurationHTable 表（Table)HTableDescriptor 列族（Column Family)Put 列修饰符（Column Qualifier）GetScanner 一、HBaseConfiguration关系：org.apache.h

HBaseConfiguration是每一个hbase client都会使用到的对象，它代表的是HBase配置信息。它有两种构造方式：public HBaseConfiguration()public HBaseConfiguration(final Configuration c)默认的构造方式会尝试从hbase-default.xml和hbase-site.xml中读取

Author：Pirate LeomyBlog: http://blog.youkuaiyun.com/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处，谢谢。文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org

随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内)，以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，由于元数据膨胀，在扩展性和性能方面均存在严重问题。    为了解决HDFS在小文件存储方面的问题，通

本文开始之前先进行一下hadoop2.2的安装,推荐文章地址:http://blog.youkuaiyun.com/u010670689/article/details/30495989 去apache官网下载 hbase-0.96.0-hadoop2-bin.tar.gz  解压到/cloud目录下进入目录/cloud/hbase-0.96.1.1-hadoop21.cd 到/home/

如何使用HBase的Export与Import完成备份功能，请参照我之前的博文《HBase 增量备份》。转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份，每天进行一次增量备份。[python] view plaincopyprint?import time    import date

阅读目录2.1.1 Rowkey长度原则2.1.2 Rowkey散列原则2.1.3 Rowkey唯一原则2.2.1 针对事务数据Rowkey设计2.2.2 针对统计数据的Rowkey设计2.2.3 针对通用数据的Rowkey设计2.2.4 支持多条件查询的RowKey设计1 概述HBase是一个分布式的、面向列的数据库，它和一般关系型数据