kettle
关注
分享
扫一扫
文章平均质量分 69
kettle
栗子~~
多年一线开发经验，深耕软件行业多年，全栈工程师
展开
-
kettle Spoon.bat 闪退 问题分析
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!原创 2024-04-23 10:45:35 · 956 阅读 · 0 评论 -
kettle 筛选数据 并根据关键字段去重 设计
1)筛选test表 code=A 且delete_flag=0 和 code =B 且delete_flag=1 的数据2)将筛选出来的数据存到本地excel_13)将筛选出来的数据根据id去重4)将去重后的数据存到本地excel_2原创 2023-01-10 09:00:00 · 1621 阅读 · 0 评论 -
kettle - 清洗 mongodb 数据案例
kettle - 清洗 mongodb 数据案例原创 2023-01-04 15:31:39 · 894 阅读 · 0 评论 -
kettle - get请求
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!原创 2022-12-20 10:17:53 · 1023 阅读 · 0 评论 -
Kettle java脚本组件的使用说明(简单使用、升级使用)
文章目录前言Kettle java脚本组件的使用说明(简单使用、升级使用)01 简单使用02 升级使用前言 如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。 而且听说点赞的人每天的运气都不会太差，实在白嫖的话，那欢迎常来啊!!!Kettle java脚本组件的使用说明(简单使用、升级使用)01 简单使用获取java脚本组件打开你刚刚移动过来的java脚本几个地方要记住main方法，点击后可以看到出来一大坨代码:public boolean原创 2022-04-29 17:32:16 · 6578 阅读 · 1 评论 -
ETL-kettle-excel批量插入数据库
ETL--kettle-excel批量插入数据库主要有四个步骤:步骤一、根据指定正则获取符合该正则的本地文件。步骤二、Excel输入控件通过一个符合标准的Excel文件配置工作表(Sheets)和字段(Fields)。步骤三、Exce输入控件切换成[从前面的步骤获取文件名]。步骤四、输出到数据库。转换效果如图:具体实现：步骤一实现:内容: 根据指定正则...原创 2019-04-10 14:40:48 · 2693 阅读 · 1 评论 -
ETL-kettle-Ftp 抓取文件下载到本地后移动源文件
ETL-kettle-Ftp 抓取文件下载到本地后移动源文件例子:步骤一、首先定义例子将要用到的全局变量，如图:详情如下: 1、 ga_local_ip 主机名称 2、 ga_local_dba_name 数据库名称 3、 ...原创 2019-04-08 18:50:20 · 3779 阅读 · 3 评论 -
ETL-kettle-一次性大数据量插入
ETL-kettle-一次性大数据量插入思路:计算sql要分页的数量，把所有的页数放在数据结果集中，抓取结果集里的数据，根据每一行的数据走一次转换job(oracle 经典三层嵌套分页算法)，直到所有结果里的数据走完。oracle 经典三层嵌套分页算法(默认5000一分页):SELECT b.rn,b.* from (SELECT ROWNUM rn ,t.* ...原创 2019-04-04 17:43:50 · 13134 阅读 · 8 评论 -
ETL-kettle-ElasticSearch2.3(kettle7.0)
注意:kettle 7.0 对应的 ElasticSearch 是2.3版本步骤:1、抓取ElasticSearch控件并拖拽到主窗口。2、配置elasticsearch控件的General信息，如图:3、配置elasticsearc控件的Servers信息，如图:4、配置elasticsearc控件的Fields信息，如图:5、配置ela...原创 2019-04-04 14:51:38 · 1277 阅读 · 0 评论 -
ETL-kettle-自定义错误信息处理
在kettle执行的过程中，如果遇到错误，kettle会停止运行。在某些时候，并不希望kettle停止运行，这时候可以使用错误处理（Step Error Handling）。错误处理允许你配置一个步骤来取代出现错误时停止运行一个转换，出现错误的记录行将会传递给另一个步骤。 实现步骤: 右键输出控件图标，选择自定义错误处理..， 详情配置...原创 2019-04-04 14:42:06 · 2355 阅读 · 0 评论 -
ETL-kettle-阻塞数据(执行sql脚本)/阻塞数据直到数据都完成
阻塞数据作用: 阻塞数据一般和执行sql脚本联合使用，用于阻塞前面流中数据。只留最后一条数据通过数据阻塞环节到被执行sql脚本环节执行,如图:执行sql脚本控件的作用:一般是做更新和删除的操作。注意:执行sql操作的优先级非常高，如果不在执行每一行处打钩，它会在转换开始的时候就运行,因此，我们在 执行sql脚本的配置如图，在[执行每一行和替换变量处]打钩，并联合阻塞数...原创 2019-04-04 14:31:48 · 15267 阅读 · 0 评论 -
ETL-kettle-Switch/Case控件
应用的场景:条件判断时使用类似于java中的Switch/Case，用于进行条件判断。例子:如图:输入内容如图:switch/case内容如图： 大体的意思是从输入方获取数据，到switch/case组件的时候，字段为flag，类型为String，如果值为'-9999' 则执行ElasticSearch步骤和字段选择步骤。...原创 2019-04-04 14:25:31 · 2992 阅读 · 0 评论 -
ETL-kettle-全局变量/局部变量
Etl 介绍ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），举列:对于金融IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，t...原创 2019-04-02 21:26:48 · 5694 阅读 · 0 评论 -
kettle- linux定时执行ktr shell脚本
kettle -linux 定时执行ktr shell脚本适合对kettle和lnux还有shell语言有些基础的人来看首先 将kettle中的pash.sh脚本赋上执行权限 chmod u+x pan.sh#!/bin/bashtimeFlag=`date +%Y%m%d`source /etc/profilecd /root/Public/data-integratio...原创 2019-03-26 18:51:18 · 3537 阅读 · 0 评论