象在舞的技术专栏

       与《Kafka中的消费者组》类似，Slipstream中多个流也可以同时接收同一topic的数据进行不同的操作。值得注意的是，Slipstream中的一个Input Stream对应着Kafka中的一个Consumer Group。1、并行流的建立       并行流的建立非常简单，在《Slipstream中的衍生流》建立的基础上，再建立一个新的输入流和衍生流即可，新建的输入...

        《Flume、Kafka、Slipstream对接》中介绍的流属于输入流，一般原始数据并不是最终要输出的数据，它需要经过过滤，提炼，计算。这样一个过程称之为对Stream的转化。可以采用CSAS(CREATE STREAM AS SELECT)对已有的Stream进行变形。转化得到的新的Stream，称之为Derived Stream。1、衍生流的建立使用如下语句首先建立一...

       在启动Slipstream之前首先去到8180监控界面，查看Slipstream的server在node2节点上，如下图所示：        Slipstream和Inceptor的server不在一个节点上，只能共同使用同一个源数据库，相关操作只能在Slipstream的引擎中操作。        安全模式下，一个Stream要成功读取/写入一个topic中的消息必须满...

1.1 Flume的安装1）下载Flume       从Flume官网（http://flume.apache.org/download.html）下载对应版本的Flume，这里使用的是Flume的版本是1.7。2）解压Flume      新建flume目录，将下载的Flume上传到该目录下，执行如下命令进行解压：tar -zxvf ./apache-flume-1.7....

一、Flume概述       Flume是一个分布式的，可靠的，可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。Flume仅仅运行在Linux环境下。      它是一个基于流式的数据的非常简单的（只需要写一个配置文件）、灵活的架构，它也是一个健壮的、容错的。它用一个简单的扩展数据模型用于在线实时应用分析。它的简单表现为：写个source、channel、sink