Abner_G的博客

使用Kettle 整合不同Mysql数据库数据，批量插入Clickhouse,会不定时出现错误 。Clickhouse社区给出的答案是驱动问题。社区回答Kettle 官方自定义创建插件文档喜欢吃燕麦粥的KeyL 大佬博客这里使用的还是kettle 8.1的包，9.1也可以使用，这里使用Clickhouse官方最新驱动按照官方文档重写对应方法getURL方法驱动修改getDriverClass打包将所有依赖jar，打包成jar包。存放到新建clickhouse-plugins文件夹下。需

Kettle---依赖控制及失败重试🔎场景介绍：⭐️解决方案：计算表中的记录数🔎场景介绍：在千万级数据量的情况下，清空一张表，插入数据。很简单的操作。可以使用SQL脚本执行清空操作，然后插入数据。这样的话就可能存在风险：清空指令已执行，但是表还未真正的清空，同时插入数据操作已开始，这样清空数据操作有可能将新插入的数据一并清空。大数据量在Mysql数据库中体现应该更明显。⭐️解决方案：【计算表中的记录数】&【等待】来结合使用，编写如图。计算表中的记录数判断表中的数据量（类似sele

Kettle 组件使用表输入文本文件输出循环循环job注意点java代码压缩文件邮件判断表是否存在Switch/case 存在BUGSQL脚本按字段合并多行数据关联字段合并（类似SQL join操作）表输出报错 “kettle：The tablename is not defined (empty)”kettle调用接口表输入如果sql中使用变量，替换变量选项一定要勾。返回数据类型如果有int,double类型数据，转为字符串类型。默认识别可能会丢失精度文本文件输出需求为输出为CSV文件，

Kettle连接Clickhouse背景使用下载地址背景kettle目前版本没有clickhouse驱动，需要自定义插件。Kettle 版本，Kettle8&Kettle9 版本可使用clickhosue 插件和依赖准备（下文有下载地址）使用下载解压之后如下将 clickhouse-plugins 文件夹复制到…\data-integration\plugins下将 kettle连接ClickHouse驱动包文件夹下的jar包，复制到自己环境的位置…\data-int

kettle API调用Clickhouse插件背景解决参考博客背景kettle目前版本没有clickhouse驱动，需要自定义插件。使用Kettle工具连接Clikchouse正常连接，但是使用Java调用Kettle时,报【database type with plugin id [Clickhouse] couldn’t be found!】这样的报错。解决需要在执行ktr的时候，设置变量。 String KETTLE_PLUGIN_BASE_FOLDER = sourceFi

Kettle 数据抽取【Version 6.1】背景简述安装使用安装设置系统变量（KETTLE_HOME）使用首先创建一个“工作”，建立一个简单的工作流表输入注意点文本文件输出注意点循环设置参数循环job注意点java代码java代码注意点压缩文件压缩文件注意点邮件控件背景需要按一定规则从数据库抽取量比较大的数据。使用ETL工具完成。简述Kettle是国外开源的ETL工具，Java编写。后来改名PDI转换（transformation）和工作（job）的区别：转换是数据流，工作是步骤流，作业的每