卤蛋爱编程

import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.LinkedList;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executor

系统：Centos6.3 x86_641.    将epel-release-6-8.noarch.rpm加入repo.rpm-ivh epel-release-6-8.noarch.rpm2.    yum update; 在服务器安装 yuminstall ganglia ganglia-gmetad ganglia-web ganglia-gmond在其他机器安装

Scan查询过程步骤1. HTable.getScanner()关掉之前在server端打开的Scanner，防止server端过多的资源占用client端：ScannerCallable.call() -> close(scannerId)server端：HRegionServer.close(scannerId)根据localStartKey在指定region上打开sc

修改hbase-binding下的pom.xml org.apache.hbase hbase-client 0.96.1-hadoop2 org.apache.hadoop hadoop-common 2.2.0

2013年10月19日apache官方发布了hbase0.96.0版本，共提交了2134个patch，与官方声称的0.94是性能提升版不同，0.96在可用性上做了很大努力，大幅提升了稳定性、可操作性以及伸缩性。下面介绍下0.96的主要新特性:ReducedMean-Time-To-Recovery (MTTR)大量优化操作使regionservercrash对集群影响从分钟级降

Time difference of 41450ms > max allowed of 30000ms1.方案1在hbase-site.xml添加配置<property>        <name>hbase.master.maxclockskew</name>        <value>180000</value>        <des

IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.KeyValue;import org.apache.hadoop.hbase.client.HTable;import org.apache.hadoop.hbase.client.Put;import o

使用snappy压缩方式建表语句，需要hbase集群安装了snappyenv COMPRESSION=snappy ./opentsdb/src/create_table.sh启动方式nohup opentsdb/build/tsdb tsd --port=4242 --staticroot=opentsdb/build/staticroot --cachedir="/tmp/

使用hbase hbck 检查报如下错误： ERROR: (region actionlog3_201206,\xF5\xD71338640520048441900060910,1340796362317.938f47b2a853094f434a2efe71c51f59.) Multiple regions have the same startkey: \xF5\xD71338640

Hadoop是Apache的一个项目（它是包含了很多子项目的集合，见下图）,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Distributed File System),其存储和数据结构很类似Google的GFS.HBase是Hadoop的其中一个子项目,它

1.介绍开源监控系统OpenTSDB，用hbase存储所有的时序（无须 采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，

package com.run.hbase.dataImport; import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileReader;import java.io.FileWriter;import java.io.IOExc

Hbase有两种压缩策略：minor和major。Minor compactions通常选择几个临近的小的storefiles把他们重写成一个。Minors 不会丢掉已删除或者过期的cells，只有major compactions才会做这些。有时一次Minor compactions将会选择一个store里的全部storefiles，因此，它实际上是一次局部的major compaction。

Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server s3,60020,1304927875246 has been rejected; Reported time is too far out of sync with master.

背景  前段时间学习了zookeeper后，在新的项目中刚好派上了用场，我在项目中主要负责分布式任务调度模块的开发，对我自己来说是个不小的挑战。  分布式的任务调度，技术上我们选择了zookeeper，具体的整个分布式任务调度的架构选择会另起一篇文章进行介绍。   本文主要是介绍自己在项目中zookeeper的一些扩展使用，希望可以对大家有所帮助。  项目中

flush触发方式1. Server端执行更新操作（put、delete、multi(MultiActionmulti)、（private）checkAndMutate、mutateRow (byte[] regionName, RowMutations rm)）执行前后触发内存检查操作执行前MemStoreFlusher .reclaimMemStoreMemor

compactions才会做这些。有时一次Minor compactions将会选择一个store里的全部storefiles，因此，它实际上是一次局部的major compaction。当进行完一次major compaction以后所有的store都只有一个storefiles，这对查询性能有很大提升。注意：major compaction将会在一个运行中的系统中重写全部store的数据，不提倡自动运行；major compactions 在大型系统中通常是手动进行的。9.7.5.5.1. Co