Kafka Connect Datagen 创建测试数据生成器

最新推荐文章于 2025-10-27 14:08:36 发布
最新推荐文章于 2025-10-27 14:08:36 发布
阅读量1.2k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： CDH和大数据组件 docker Flink 文章标签： KafkaConnect Datagen Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/litlit023/article/details/112298723
本文档介绍了如何下载、构建和运行Kafka Connect Datagen，以创建测试数据用于项目开发、测试和学习。通过执行命令启动datagen，并在UI界面观察生成的数据，该工具提供了一个方便的方法来生成Kafka中的实时数据源。

目录

1. 概述

2. 下载并构建 kafka-connect-datagen

3. 启动kafka connect datagen

3.1 启动 datagen

3.2 创建一个产生数据的任务

4. 参考资料

1. 概述

在平时的项目开发、测试，或者学习一些技术，比如Flink等，会用到来自kafka中的一些实时数据源，这时候可以使用kafka-connect-datagen作为测试数据生成器。下面就记录一下如何把kafka-connect-datagen跑起来。

 

2. 下载并构建 kafka-connect-datagen

从github上下载kafka-connect-datagen，下载地址kafka-connect-datagen，或者这里

下载之后，一定要记得mvn package一下，需要build一下项目的，不然直接运行会报错的，我当时就因位没有build直接去运行，然后浪费了大把的时间，清晰记得搞到了晚上11点多（都是泪。。）

 

//执行mvn打包命令

c
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大数据】Flink + Kafka 实现通用流式数据处理详解
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
kafka实时读取sqlserver数据_SQLServer CDC数据通过Kafka connect实时同步至分析型数据库 AnalyticDB For PostgreSQL及OSS...
weixin_28917137的博客
01-14 657
背景SQLServer为实时更新数据同步提供了CDC机制，类似于Mysql的binlog，将数据更新操作维护到一张CDC表中。开启cdc的源表在插入INSERT、更新UPDATE和删除DELETE活动时会插入数据到日志表中。cdc通过捕获进程将变更数据捕获到变更表中，通过cdc提供的查询函数，可以捕获这部分数据。CDC的使用条件1.SQL server 2008及以上的企业版、开发版和评估版；2....
kafka producer生产100W条测试数据
斌躏天下的博客
08-05 1883
话不多说先上代码，后续再完善说明 import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.common.serialization.StringSerializer; import ...
DataGen:数据生成器
06-18
数据生成器 该工具试图简化为数据库基础设施测试生成随机数据集的过程。 安装 go get github.com/tiago4orion/DataGen 用法 您需要一个定义“架构”或“文档”的 YAML 文件。 见下文： format : csv filename : company.csv fields : - id : type : " string " min : 14 max : 14 chars : " 0-9 " - company_name : type : " string " min : 3 max : 256 chars : " A-Za-z " - address : type : " string " min : 3 m
使用kafka造测试数据进行测试
最新发布
weixin_43812150的博客
10-27 834
之前一直听说过kafka，但是一直没有机会接触到使用kafka的测试场景，最近终于让我逮到啦😏所以写这篇文章记录一下~Kafka 是一个高吞吐量、分布式、持久化的流数据平台。作用：对于测试来说，主要作用就是某些场景造测试数据用。比如航空公司的航班数据，当发生航变时，某些后台管理系统需要实时监听，这些数据的推送就是由kafka推送的，后端实现实时监听就只需要监听kafka就行而不用扫库，这样做可降低数据库压力与轮询延迟。Name：集群名称，这里的prod是生产，test是测试。
java8集合源码-DataGen:数据生成器
06-04
java8集合源码数据源 生成随机数据（数字、字符串、日期）的 Java 库 - 方便 . 随机化有助于更快地编写和运行测试并提高覆盖率。 只是一些随机化的用例： - 有助于减少您需要编写和运行的测试用例的数量 - 测试注册了一个具有唯一用户名的用户？ 下次运行测试时它会失败，因为这样的用户已经存在。 效果 - 有时随机化可能会发现您无法想到的棘手情况。 - 通常在选择测试数据时，选择哪个值并没有明确的赢家。 随机化有助于实现这一点，并确保我们不会受到农药效应的影响。 字符串 import static io.qala.datagen.RandomValue.* ; import static io.qala.datagen.StringModifier.Impls.* ; import static io.qala.datagen.RandomShortApi.* ; length( 10 ) . english() or english( 10 ) > " DcRZUNPrED " upTo( 10 ) . alphanumeric() or alphanumeric( 0 , 1
使用Kafka Connect创建测试数据生成器
weixin_30952535的博客
05-29 980
在最近的一些项目中，我使用Apache Kafka开发了一些数据管道。在性能测试方面，数据生成总是会在整个活动中引入一些样板代码，例如创建客户端实例，编写控制流以发送数据，根据业务逻辑随机化有效负载等等。 在测试设置期间，拥有一个处理所有繁重工作的框架会很好，因此只需要回答两个基本和基本的问题： 数据应该是什么样的？（架构） 要生成多少数据？（体积） 有了Kafka Connect...
kafka实验：生成流数据，订阅topic保存到mysql中
miya的博客
01-15 1768
一、 启动 启动zookeeper-server 启动 kafka server 创建topic 二、 python生成流数据并发布到对应topic """ Top Traffic Simulator """ from time import sleep, time, ctime from random import random, randint, choice from kafka import KafkaProducer producer = KafkaProducer(boot
kafka 数据生成
07-27
Kafka数据生成可以使用kafka-connect-datagen作为测试数据生成器。这是一个现成的工具，可以与Kafka集成，以最少的样板代码实现随机数据生成。\[1\] kafka-connect-datagen是一个高度可移植的自定义连接器插件，可以...
基于Kafka Connect的Cloudant连接器实现数据同步
Kafka Connect Cloudant 是一个专为 Apache Kafka 设计的连接器，旨在实现 IBM Cloudant 数据库与 Kafka 消息系统之间的高效数据同步。该项目提供了两种核心类型的连接器：源连接器（Source Connector）和宿连接器...
python3-连接kafka生产测试数据
Mark的博客
09-25 968
log： pip3 install kafka pip3 install kafka-python 1.通过脚本实现让kafka生产测试数据，测试下游业务服务性能 2.可以增加线程池，让多线程并发执行，效果更好 # !/usr/bin/env python # -*- encoding: utf-8 -*- # @Author : yyq import datetime import json import random import time from itertools import is
可视化kafka测试工具
11-14
可视化kafka测试工具，配置好broker地址即可模拟发送topic消息
kafka-connect-ui：用于Kafka Connect的Web工具|
02-06
kafka-connect-ui 这是Kafka Connect的网络工具，用于设置和管理多个连接集群的连接器。 现场演示 与Docker独立运行 docker run --rm -it -p 8000:8000 \ -e "CONNECT_URL=http://connect.distributed.url" \ landoop/kafka-connect-ui CONNECT_URL可以是逗号分隔的Connect worker端点数组。 例如：CONNECT_URL = “ 另外，您可以通过在端点URL后面附加分号和群集名称来为Connec
轻松通关Flink第31讲：Kafka 模拟数据生成和发送
sucaiwa的博客
03-29 926
这一课时我们学习了使用 Flink 进行数据清洗 ETL 的过程，在实际业务中数据的清洗是必不可少的部分，你可以根据业务需要采用不同的清洗策略，将数据存储到新的数据库中。
大数据-日志生成器-flume-kafka-sparkStreaming
无
06-04 1167
日志作为flume输入源？借助log4j,并且配置如下：log4j.rootLogger=INFO,stdout,flumelog4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.target = System.outlog4j.appender.stdout.layout=org.apache.l...
Datagen-CDP平台的模拟数据生成器
大数据杂货铺的博客
11-07 9203
Datagen 是一个项目，旨在提供一个用户友好、可定制的界面，以将数据生成到各种 Cloudera CDP平台服务中。（甚至在平台之外）。
kafka生产者及消费者测试
wxz_666的博客
11-13 923
kafka生产者及消费者测试
Kafka性能测试
前方的路在刚开始
01-08 1696
kafka是一个大数据消息队列（可以看做为缓存软件）：能够读写数据：1、测试生产者每秒往kafka写入的最大吞吐量 2、测试消费者每秒从kafka里获取消息最大吞吐量。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值