象在舞的技术专栏

Transporter是一个数据etl工具，支持从不同数据源获取数据，对数据的复杂转换操作，并最终将数据落地成不同格式。Transporter左侧连接数据源，如关系型数据库，右侧连接目标系统，如Inceptor。支持用户将数据从RDBMS迁移到Hadoop，再进行数据分析和挖掘工作。关注专栏《Transwarp系列》了解更多Transwarp的技术知识~

在做数据分析处理时，一个作业往往不能达到我们的业务目的，执行过程中通常会涉及多个作业任务，这些作业按照逻辑执行关系连接，存在着相互依赖关系。为了简化作业调度工作，减轻工作量，同时实现自动化的工作流管理，于是便有了Transwarp的工作流调度平台——Workflow。关注专栏《Transwarp系列》了解更多Transwarp的技术知识~

目录一、Flume对接Kafka之后取到的数据有双引号二、Failed to create topic三、Failed to construct kafka consumer四、单一节点创建topic失败五、Slipstream中建es表报错一、Flume对接Kafka之后取到的数据有双引号【问题描述】 如下图所示，虽然Flume、Kafka、Slipstream对接成功并取到了数据，但是Inceptor中查询出的数据均带有双引号。【问题原因】...

一个Application或者一个StreamJob，如果上游的流发生故障（例如意外退出）无法及时恢复，可能会导致整个系统的瘫痪。因此，流处理系统的高可用性显得尤为重要。一、Server HA Slipstream InceptorServer的{autofailover}提供了InceptorServer级别的HA保证，可以保证在一台InceptorServer意外退出后，流任务会自动在另外一台InceptorServer上重新启动。Slipstream Inceptor...

1、流之间的join        Slipstream支持Window Stream之间的join操作。Window Stream在join的时候必须保证Slide的值一致，Length的值可以不同。        这里以系统时间切分滑动窗口为例进行说明。基于Kafka topic asd和zxc分别建立两个输入流s1和s2CREATE STREAM s1 (id STRING,...

       滑动窗口中有一个特例是无限滑动窗口——它的窗口长度为无限长（INFINITE）。它的意思是，窗口每滑动一个间隔会触发一次计算，但是每次触发计算的窗口都会包含所有之前的窗口覆盖的区间。例如：对于窗口长度为 INFINITE，滑动间隔为1s的滑动窗口，第一个窗口为[0s, 1s)，第二个窗口为[0s, 2s)，第三个窗口为[0s, 3s)，依次类推。1、无限滑动窗口测试举例无限滑...

       Window Stream是Derived Stream的一种，对一个Stream进行窗口变形需要两个重要的参数：Length和Slide。Length是窗口的持续时间，Slide则是执行窗口操作的时间间隔。1 流处理的窗口以及窗口的切分方式       流处理的窗口有两种，分别是滑动窗口和跳动窗口。       滑动窗口需要由两个量来定义：窗口长度（LENGTH）和滑动...

       与《Kafka中的消费者组》类似，Slipstream中多个流也可以同时接收同一topic的数据进行不同的操作。值得注意的是，Slipstream中的一个Input Stream对应着Kafka中的一个Consumer Group。1、并行流的建立       并行流的建立非常简单，在《Slipstream中的衍生流》建立的基础上，再建立一个新的输入流和衍生流即可，新建的输入...

        《Flume、Kafka、Slipstream对接》中介绍的流属于输入流，一般原始数据并不是最终要输出的数据，它需要经过过滤，提炼，计算。这样一个过程称之为对Stream的转化。可以采用CSAS(CREATE STREAM AS SELECT)对已有的Stream进行变形。转化得到的新的Stream，称之为Derived Stream。1、衍生流的建立使用如下语句首先建立一...

       在启动Slipstream之前首先去到8180监控界面，查看Slipstream的server在node2节点上，如下图所示：        Slipstream和Inceptor的server不在一个节点上，只能共同使用同一个源数据库，相关操作只能在Slipstream的引擎中操作。        安全模式下，一个Stream要成功读取/写入一个topic中的消息必须满...

1.1 Flume的安装1）下载Flume       从Flume官网（http://flume.apache.org/download.html）下载对应版本的Flume，这里使用的是Flume的版本是1.7。2）解压Flume      新建flume目录，将下载的Flume上传到该目录下，执行如下命令进行解压：tar -zxvf ./apache-flume-1.7....

1. 消费者组（Consumer Group）        消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据。1.1 消费者多于分区数创建一个用于测试的单分区topic test设置consumer.properties文件       将consumer.properties文件中的group id命名为gro...

1. Kafka使用前的配置       集群在不开启安全的情况下，可以直接进行创建topic的操作。如果集群开启了安全，需要进行相关的安全认证的参数配置。首先去到Kafka的config目录下。1.1 修改producer.properties文件。修改bootstrap.servers配置项如下：在producer.properties文件的末尾添加如下配置：1.2 修...

【Kafka操作：在${KAFKA_HOME}/bin下执行Kafka操作】1、在星环TDH集群上操作Kafka的时候首先要进行相关的赋权操作（1）赋予当前用户（当前用户以hive为例，可以使用kinit进行用户的切换）操作集群的权限./kafka-acls.sh --authorizer-properties zookeeper.connect=node3:2181,node2:2...

最近在使用星环TDH操作HBase表的时候遇到了一些问题，故整理如下，以供后续参考~ 一、底层进制转换【问题描述】1、在inceptor中建立hyperdriver表，并插入测试数据，如下图所示：2、在hbase shell中执行scan命令进行查看，发现其中的数据变成了16进制。3、清空inceptor中新建的表数据，在hbase shell中插入数据。此时，在 ...

       最近在星环的TDH集群上需要安装一个新的组件——Search，在安装过程中遇到了不少问题，故将主要的问题总结整理如下，以供后续参考~ 1、一开始默认安装会出现search server启动不成功、search head启动不成功等问题，也就是默认安装后search无法正常启动。报错如下：主要是/search/data权限问题。 2、需要将安装界面设置的path.d...