Kettle安装Kafka Consumer插件

最新推荐文章于 2025-07-02 11:43:06 发布
最新推荐文章于 2025-07-02 11:43:06 发布
阅读量1.1w 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Kafka Kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/colinluo/article/details/52927458

下载软件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5

cd /opt/kettle/data-integration/plugins

mkdir steps

解压pentaho-kafka-consumer-v1.5.zip到steps目录

更新lib目录下的jar包与安装的Kafka 2.11-0.10.0.1保持一致

同时修改/opt/kettle/data-integration/plugins/steps/pentaho-kafka-consumer/plugin.xml

重启PDI 6.1，Input里即可看到Apache Kafka Consumer

我把GoldenGate的数据以csv格式输出到Kafka，在PDI中配置如下，数据然后输出到文本文件测试成功。





kettle+kafka+mysql_kettle整合kafka-consumer插件
weixin_42503881的博客
01-30 1592
Kettle安装Kafka Consumer插件：下载软件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5 或者　　pentaho-kafka-consumer-v1.5进入kettle安装目录：选中plugin中创建steps4.更新对应lib下的包，就是把》steps>penta...
kettle kafka mysql,Kettle安装Kafka Consumer和Kafka Producer插件
weixin_29313547的博客
03-16 1312
1.从github上下载kettle的kafka插件，地址如下Kafka Consumer地址：https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.7Kafka Producer地址：https://github.com/RuckusWirelessIL/pentaho-kafka-producer/...
kettle kafka 消息者插件
01-17
kettle kafka 消息者插件，用于集成到kettle，接收Kafka消息。
kettle整合kafka生产者消费者插件
12-11
kettle7.1版本整合kafka，kafka插件包含生产者、消费者。直接在kettle安装目录plugins下创建steps目录，并解压下载文件到kettle/plugins/steps目录。具体可查看https://blog.youkuaiyun.com/mar_ljh/article/details/81698888
Kafka本地配置+idea连接调用
最新发布
2201_75666494的博客
07-02 1989
打开zoo.cfg后，修改 dataDir 和 clientPort 两个字段，后者默认为 2181，可以不修改。2. 进入D:\JavaProperties\kafka_2.12-3.5.1，新建文件夹kafka-logs。目前学习到kafka这个处理大数据的分布式应用，在配置本地服务并调用时遇到了困难，现在理解后，出一篇文章😁。win+r，输入cmd，在终端中输入 zkServer，出现如下输出就表示配置成功。注意配置的端口是否正确。第一步，先完成ZOOKEEPER_HOME的配置，如下图顺序。
kettle kafka 消息生产插件
01-17
kettle kafka 消息者生产插件，用于集成到kettle，生产Kafka消息。亲测试可用。
Kettle安装Kafka Consumer和Kafka Producer插件
weixin_30570101的博客
04-13 2550
1.从github上下载kettle的kafka插件，地址如下 Kafka Consumer地址： https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.7 Kafka Producer地址： https://github.com/RuckusWirelessIL/pentaho-kafka-p...
kettle整合kafka生产、消费插件
赣江
06-12 1万+
111
通过kettle组件消费Kafka下topic中数据
qq_41600330的博客
02-09 7344
通过kettle消费Kafka消费者数据 环境介绍： Oracle 11g kafka2.8.0 kafka-connect-oracle kettle 9.1===用8.0的版本测试，只有输入，没有输出，可能那个地方配的有问题 1.启动 1.1启动zookeeper 1.2启动Kafka 1.3启动连接器 2.kettle配置 2.1添加转换流程 2.1.1设置Kafka consumer属性 transformation：新建一个，用于返回流中的结果 connection： 选择direct ,右侧
kettle配置kafka-consumer到excel
cs_jiang的专栏
03-19 7187
大致过程可参考这个哥们的bloghttps://www.cnblogs.com/huhongy/p/7851553.html 简单介绍kafka作为输入,excel作为输出,图示如下 解释kafka参数 ① kafka的topic ②与③对应kafka消息的key和message,具体如何模拟发送key,message格式后面介绍,同时对应输出excel的列名 ④ zooke...
kafka 插件kafka 插件kafka 插件
06-26
kafka 插件
kafkaConsumerDemo.zip
04-24
这是使用java操作kafka consumer api的一个demo，欢迎下载交流，博客地址：https://blog.youkuaiyun.com/qq_26803795
pentaho-kettle-master.zip
04-06
Pentaho Data Integration Pentaho Data Integration ( ETL ) a.k.a Kettle Project Structure assemblies: Project distribution archive is produced under this module core: Core implementation dbdialog: Database dialog ui: User interface engine: PDI engine engine-ext: PDI engine extensions plugins: PDI core plugins integration: Integration tests How to build Pentaho Data Integration uses the maven framework. Pre-requisites for building the project: Maven, version 3+ Java JDK 1.8 This settings.xml in your /.m2 directory Building it This is a maven project, and to build it use the following command $ mvn clean install Optionally you can specify -Drelease to trigger obfuscation and/or uglification (as needed) Optionally you can specify -Dmaven.test.skip=true to skip the tests (even though you shouldn't as you know) The build result will be a Pentaho package located in target. Running the tests Unit tests This will run all unit tests in the project (and sub-modules). To run integration tests as well, see Integration Tests below. $ mvn test If you want to remote debug a single java unit test (default port is 5005): $ cd core $ mvn test -Dtest=<<YourTest>> -Dmaven.surefire.debug Integration tests In addition to the unit tests, there are integration tests that test cross-module operation. This will run the integration tests. $ mvn verify -DrunITs To run a single integration test: $ mvn verify -DrunITs -Dit.test=<<YourIT>> To run a single integration test in debug mode (for remote debugging in an IDE) on the default port of 5005: $ mvn verify -DrunITs -Dit.test=<<YourIT>> -Dmaven.failsafe.debug To skip test $ mvn clean install -DskipTests To get log as text file $ mvn clean install test >log.txt IntelliJ Don't use IntelliJ's built-in maven. Make it use the same one you use from the commandline. Project Preferences -> Build, Execution, Deployment -> Build Tools -> Maven ==> Maven home directory Contributing Submit a pull request, referencing the relevant Jira case Attach a Git patch file to the relevant Jira case Use of the Pentaho checkstyle format (via mvn checkstyle:check and reviewing the report) and developing working Unit Tests helps to ensure that pull requests for bugs and improvements are processed quickly. When writing unit tests, you have at your disposal a couple of ClassRules that can be used to maintain a healthy test environment. Use RestorePDIEnvironment and RestorePDIEngineEnvironment for core and engine tests respectively. pex.: public class MyTest { @ClassRule public static RestorePDIEnvironment env = new RestorePDIEnvironment(); #setUp()... @Test public void testSomething() { assertTrue( myMethod() ); } }
kettle整合kafka
yang灬仔
06-15 5307
Kettle安装Kafka Consumer插件： 下载软件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5 或者pentaho-kafka-consumer-v1.5 进入kettle安装目录：选中plugin中创建steps 　　　　 　　　3.　把pentaho-kafka-consumer-v1.5解压后放入到steps中 　　　　 　　　4.更新对应lib下的包，就是把》...
kettle+kafka+mysql_Kettle-demo
weixin_33304777的博客
02-01 1503
Kettle-demoETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。用户从数据源抽取出所需的数据，经过数据清洗和转换，最终形成所需的数据仓库，可用于进行数据统计分析，做商业决策等 。本项目使用开源ETL工具kettle实现一些常用的功能进行演示。查询和连接：包含数据流的查询、连接查询有关的组件。脚本：包含自定义脚本的使用，脚本可以...
kafka下载安装
热门推荐
shangyupeng_的博客
05-12 1万+
kafka下载与Linux下安装配置一览
kettle从入门到精通 第二十五课 kettle 再谈 kafka-consumer 步骤
zhangjin1222的博客
01-28 860
前面写过kafka-consumer步骤初步使用教程，参考https://www.cnblogs.com/zjBoy/p/17296564.html，不过在使用此步骤的过程中还是遇到了一些问题，故在此和大家重新学习下kafka-consumer。1、Duration和Number of records参数是两种拉取数据的方式，设置其中一个即可，另外一个设置为0，根据自己情况自行设置。这种方式可以确保即使在处理中断或出现错误时，已经读取的记录都已经提交到目标数据库中，不会出现数据丢失的情况。
02 - 步骤 Kafka consumer
suweijie的博客
04-29 871
Kafka consumer 步骤，用于连接和消费 Apache Kafka 中的数据,它可以作为数据管道的一部分，将 Kafka 中的数据提取到 Kettle 中进行进一步处理、转换和加载，或者将其直接传输到目标系统中。
Kettle8.2 Kafka插件安装教程与步骤解析
标题“kafka生产者消费者插件 steps.zip”指出了该压缩文件包含的是一种针对Kettle 8.2版本的插件，该插件的功能是实现Kettle与Kafka之间的集成，允许Kettle充当Kafka生产者（Producer）和消费者（Consumer）的角色...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值