streamsets3.21 Elasticsearch数据处理，输入到kudu、mysql

Mua回眸

于 2021-04-13 15:57:41 发布

阅读量683

点赞数

本文链接：https://blog.youkuaiyun.com/kkHMou/article/details/115666694

版权

关键词由优快云通过智能技术生成

本文介绍了如何从Elasticsearch实时同步数据到Kudu，包括ES输入端配置、数据转换、Kudu与MySQL输入端设置。在数据迁移过程中，需要注意时间字段格式的转换，以及字段一致性问题，确保数据迁移的准确性和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

部分用法的官方链接：
https://streamsets.com/documentation/datacollector/3.21.x/help/index.html
中文站：
http://streamsets.vip/

上一篇文章写了mysql实时同步kudu，链接放这里
https://blog.youkuaiyun.com/kkHMou/article/details/115330489

在这里插入图片描述

在这里插入图片描述

{
	"sort": [
		{
			"logTime": {
				"order": asc
			}
		}
	],
	"query": {
		"range": {
			"logTime": {
				"gt": ${OFFSET}
			}
		}
	}
}

作为offset的字段上下文保持一致就行

在这里插入图片描述

我这里使用Field Type Converter的原因是我es这个索引的时间字段格式不能直接存入kudu、mysql，所以需要转化一下。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

注意一点：kudu中的字段名所有大写都是自动转化成小写，建表的时候写的大写，也会转成小写。

前面都是一样的
在这里插入图片描述
…?useUnicode=true&characterEncoding=utf-8

注：如果这里运行提示 Max Column，看看你数据库的表和你的配置是否保持字段一致，再看看你的es字段(SDC Field)是否写的有问题，有时候这个字段会读取不到