ctwen的专栏

出自: http://www.cnblogs.com/panfeng412/archive/2013/06/08/hbase-slow-query-troubleshooting.html最近HBase集群遇到过一次慢查询请求的问题，下面是对这一问题的具体描述及排查解决过程。1. 发现问题项目中有一张HBase表，每天凌晨以后会集中批量导入一批数据，导入数据量很大，在千万到亿的量级，...

Storm ui 展示字段说明Storm ui 首页主要分为4块: Cluster Summary，Topology summary，Supervisor summary，Nimbus Configuration，如下图所示： Cluster SummaryVersion: storm 版本号Nimbus uptime: nimbus 运行时间Superviso...

简介storm1.0版本的重要功能都在1.0.0版本中发布，1.0.1版本中以fixed bug为主,调研使用1.0.1版本.storm1.0.0 ：http://storm.apache.org/2016/04/12/storm100-released.html  Pacemaker默认情况下使用zookeeper来存储心跳信息，需要修改配置。storm.cluster...

事情源于在看基于Storm的CEP引擎：flowmix的FlowmixBuilder代码，每个Bolt设置了这么多的Group，而且declareStream也声明了这么多的stream-id，对于只写过WordCountTopology的小白而言，直接懵逼了，没见过这么用的啊，我承认一开始是拒绝的，每个Bolt都设置了这么多Group，这TMD拓扑图是什么样的？123...

elasticsearch-Hadoop提供ElasticSearch与Apache Storm的集成支持。从ElasticSearch读取的数据是以Storm里Tuple的形式进行操作处理。依赖版本信息：<dependency><groupId>org.apache.storm</groupId><artifactId>storm-cor...

 如何编写UDF我就不赘述了，网上资料大把。贴一个参考链接直接略过。 主要讨论两个点，是开发过程中遇到的难点。1. UDF读取外部资源。2. 外部资源存放位置。 为什么会遇到这两个问题？ 开发UDF的目的就是为了扩展数据库一些没有的功能。常用功能例如count,sum这些，但是偶尔会遇到一些复杂的计算数据库没有直接实现的函数，解决方法一是直接读取数据然后用程序...

做的漂亮！以下主要分享实时流处理系统Storm里的一点小故事。但让我总结起来，首先我想到的是硕士期间一位大老板，牛逼的人物IEEE Fellow，系统控制和电力优化的背景，他推崇一个简单的原则，用公式来描述你的核心思路，如果写不出这样的公式，要么是你还不够了解你的优化对象和方法的本质，要么是你选择了苦逼的道路；你的方法主要靠暴力压榨资源换取一定的效果而且还有不确定性，有朝一日容易被秒杀。我当...

UDF步骤：UDF(User-Defined-Function) 用来解决 一行输入一行输出(On-to-On maping) 的需求。1.继承org.apache.hadoop.hive.ql.exec.UDF2.实现evaluate函数，evaluate函数支持重载[java] view plaincopy package cn.si...

出自：http://my.oschina.net/beiyou/blog/76456 一，基本命令：    建表：create 'testtable','coulmn1','coulmn2'     也可以建表时加coulmn的属性如：create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLI...

When you are optimizing the performance of your Storm topologies it helps to understand how Storm’s internal message queues are configured and put to use. In this short article I will explain and i...