
hbase
文章平均质量分 81
lhy66
这个作者很懒,什么都没留下…
展开
-
hbase入库速度测试
15827000000 scan 't1', ['c1', 'c2'], {LIMIT => 10, STARTROW => 'xyz'} scan 'test_201408280000_201408282359', {LIMIT => 10, STARTROW => '1000007285120140828115555019504'} scan 'test_201408280原创 2014-11-13 23:22:11 · 4112 阅读 · 0 评论 -
实时系统HBase读写优化--大量写入无障碍
在使用hbase过程中发现在写入hbase的数据量很大时,经常发生写不进去的情况。而我们基于hbase的应用是对实时性要求很高的,一旦hbase不能读写则会大大影响系统的使用。下面将记录hbase写优化的过程。1.禁止Major Compaction在hbase进行Major Compaction时,该region将合并所有的storefile,因此整个region都不可读,所有对转载 2014-11-17 19:45:48 · 865 阅读 · 0 评论 -
Apache Solr real-time live index updates at scale with Apache Hadoop
We talked about the new work that has gone into Apache Solr (upstream) that allows it to work on Apache Hadoop. Solr has support for writing and reading its index and transaction log files to the HDFS转载 2014-11-23 22:26:52 · 985 阅读 · 0 评论 -
hbase-indexer
This page explains how to start doing basic indexing in HBase. Before following this tutorial, make sure that the HBase Indexer and other required software is installed and running as explained in the转载 2014-11-23 23:07:00 · 1094 阅读 · 0 评论 -
ganglia收集hbase的metrics
Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式,才使得 Ganglia 可以实现良好的扩展。gmond 带来的转载 2014-11-23 22:23:11 · 763 阅读 · 0 评论 -
HBase Coprocessor 之 endpiont(hbase 0.96.0)
好文章。收藏下本文是基于hbase 0.96.0 测试的,理论上支持hbase 0.94 以上版本!!HBase有两种协处理器(Coprocessor)1、RegionObserver :类似于关系型数据库的触发器2、Endpoint:类似于关系型数据库的存储过程,本文将介绍此种Coprocessor.Endpoint 允许您定义自己的动态R转载 2015-04-02 18:28:13 · 673 阅读 · 0 评论 -
hadoop hbase hive 常见问题解决
Hadoop常见问题,hbase常见问题,hive常见问题。结合网络资料 和自己遇到的整理。原创 2015-03-24 10:29:59 · 122848 阅读 · 0 评论 -
MapReduce任务参数调优
本文主要记录Hadoop 2.x版本中MapReduce参数调优,不涉及Yarn的调优。Hadoop的默认配置文件(以cdh5.0.1为例):core-default.xmlhdfs-default.xmlmapred-default.xml说明:在hadoop2中有些参数名称过时了,例如原来的mapred.reduce.tasks改名为mapreduce.job.redu转载 2015-04-07 21:34:41 · 858 阅读 · 0 评论 -
MapReduce实现基本SQL操作的原理-join和group by,以及Dinstinct
http://m.blog.youkuaiyun.com/blog/a11123939/43446027详细讲解SQL编译为MapReduce之前,我们先来看看MapReduce框架实现SQL基本操作的原理Join的实现原理select u.name, o.orderid from order o join user u on o.uid = u.uid;在map的输出转载 2015-08-06 15:55:12 · 1353 阅读 · 0 评论