slipstream
关注
分享
扫一扫
象在舞
谁说大象不能跳舞！
展开
-
TDH中Flume、Kafka、Slipstream对接遇到的问题汇总
目录 一、Flume对接Kafka之后取到的数据有双引号 二、Failed to create topic 三、Failed to construct kafka consumer 四、单一节点创建topic失败 五、Slipstream中建es表报错 一、Flume对接Kafka之后取到的数据有双引号 【问题描述】 如下图所示，虽然Flume、Kafka、Slipstream对接成功并取到了数据，但是Inceptor中查询出的数据均带有双引号。 【问题原因】 ...原创 2020-10-22 16:39:13 · 1201 阅读 · 0 评论 -
Slipstream中的高可用（HA）
一个Application或者一个StreamJob，如果上游的流发生故障（例如意外退出）无法及时恢复，可能会导致整个系统的瘫痪。因此，流处理系统的高可用性显得尤为重要。 一、Server HA Slipstream InceptorServer的{autofailover}提供了InceptorServer级别的HA保证，可以保证在一台InceptorServer意外退出后，流任务会自动在另外一台InceptorServer上重新启动。Slipstream Inceptor...原创 2020-10-21 16:40:25 · 1029 阅读 · 0 评论 -
Slipstream中流与流、流与表之间的join
1、流之间的join Slipstream支持Window Stream之间的join操作。Window Stream在join的时候必须保证Slide的值一致，Length的值可以不同。 这里以系统时间切分滑动窗口为例进行说明。 基于Kafka topic asd和zxc分别建立两个输入流s1和s2 CREATE STREAM s1 (id STRING,...原创 2019-02-19 14:56:03 · 1204 阅读 · 4 评论 -
Slipstream中的无限滑动窗口（Infinite Window）
滑动窗口中有一个特例是无限滑动窗口——它的窗口长度为无限长（INFINITE）。它的意思是，窗口每滑动一个间隔会触发一次计算，但是每次触发计算的窗口都会包含所有之前的窗口覆盖的区间。例如：对于窗口长度为 INFINITE，滑动间隔为1s的滑动窗口，第一个窗口为[0s, 1s)，第二个窗口为[0s, 2s)，第三个窗口为[0s, 3s)，依次类推。 1、无限滑动窗口测试举例 无限滑...原创 2019-02-19 14:46:46 · 751 阅读 · 0 评论 -
Slipstream中的Window Stream（窗口流）
Window Stream是Derived Stream的一种，对一个Stream进行窗口变形需要两个重要的参数：Length和Slide。Length是窗口的持续时间，Slide则是执行窗口操作的时间间隔。 1 流处理的窗口以及窗口的切分方式 流处理的窗口有两种，分别是滑动窗口和跳动窗口。 滑动窗口需要由两个量来定义：窗口长度（LENGTH）和滑动...原创 2019-02-12 14:00:10 · 1542 阅读 · 0 评论 -
Slipstream中的并行流处理
与《Kafka中的消费者组》类似，Slipstream中多个流也可以同时接收同一topic的数据进行不同的操作。值得注意的是，Slipstream中的一个Input Stream对应着Kafka中的一个Consumer Group。 1、并行流的建立 并行流的建立非常简单，在《Slipstream中的衍生流》建立的基础上，再建立一个新的输入流和衍生流即可，新建的输入...原创 2019-02-01 16:08:19 · 631 阅读 · 0 评论 -
Slipstream中的衍生流（Derived Stream）
《Flume、Kafka、Slipstream对接》中介绍的流属于输入流，一般原始数据并不是最终要输出的数据，它需要经过过滤，提炼，计算。这样一个过程称之为对Stream的转化。可以采用CSAS(CREATE STREAM AS SELECT)对已有的Stream进行变形。转化得到的新的Stream，称之为Derived Stream。 1、衍生流的建立 使用如下语句首先建立一...原创 2019-02-01 15:59:58 · 702 阅读 · 0 评论 -
Flume、Kafka、Slipstream对接
在启动Slipstream之前首先去到8180监控界面，查看Slipstream的server在node2节点上，如下图所示： Slipstream和Inceptor的server不在一个节点上，只能共同使用同一个源数据库，相关操作只能在Slipstream的引擎中操作。 安全模式下，一个Stream要成功读取/写入一个topic中的消息必须满...原创 2019-02-01 15:53:36 · 572 阅读 · 0 评论