
实时计算
文章平均质量分 82
cristim33
这个作者很懒,什么都没留下…
展开
-
flume+kafka+storm调研
1、zookeeper集群,storm和kafka可以共用,最好独立机器安装。2、在web容器所在所有机器安装flume,分别启动agent,监听特定目录,发送消息到kafka。3、配置多个broker的kafka集群,在每台机器分别启动kafkaserver,接收来自flumekafkasink的数据,写入kafka集群的分区。4、在storm集群某一节点启动nimbus,在其他节点原创 2014-07-10 16:14:45 · 1303 阅读 · 2 评论 -
phoenix 一点了解
hbase 0.94版本支持按一个cf一个column的sum聚合从hbase0.96开始取消了对应类,可以配合phoenix使用实现相应功能。 phoenix2,3支持hbase0.942.1版本以后支持可变数据的索引。 1、使用shell命令行操作sql2、使用java api (jdbc操作,唯一不同点是协议:jdbc:phoenix)3、批量加载进pho原创 2014-05-23 17:07:46 · 1350 阅读 · 0 评论 -
hbase shell命令扩展
也许你还不清楚我在说什么,看一下下面的截图你就明白了: 好吧,如果您感兴趣,可以继续看下去了。hbase是以字节数组的形式存储数据的,当你直接用API或通过hbase 自带的shell端去查询数据时,实际显示的是二进制数据的byteString的形式,就像这样:\xE5\x94\xAE\xE5\x90\x8E,当然,这肯定不是你想看到的结果。不过没办法,因为ro原创 2012-09-17 11:30:25 · 3881 阅读 · 4 评论 -
hbase 表的重命名
hbase没有提供重命名表的API,无意中发现0.90.4版本有类似的jruby脚本,无聊之下搞了个java重命名表的类:package com.cuirong.hbase.rtc;import java.io.DataOutputStream;import java.io.IOException;import java.security.Permission;impo原创 2012-09-28 18:20:47 · 2130 阅读 · 1 评论 -
storm笔记(一)
环境配置: 在每个节点上操作:1、下载,解压,配置环境变量。2、依赖安装3、修改storm.yaml 启动zookeeper。启动nimbus。启动若干supervisor。启动ui。序列化:0.6版本以后变化大。使用kyro序列化。处理的字段类型是动态的。 事务的概念:每个流要有唯一id,第一次执行成功,再一次执行会跳过。保证只执行一次原创 2014-07-10 15:59:25 · 713 阅读 · 0 评论 -
storm使用中遇到的问题
1、异常:Caused by: java.util.jar.JarException:file:/home/data/storm/supervisor/stormdist/testtest22-38-1408443230/stormjar.jarhas unsigned entries - 。。。 at javax.crypto.JarVerifier.verifySingleJar(Jar原创 2014-09-07 12:28:11 · 7726 阅读 · 0 评论