
ETL
GeekPlusA
打杂打杂打杂打杂打杂打杂打杂打杂打杂打杂打杂打杂打杂打杂打杂打杂
展开
-
ETL工具(kettle)使用系列(二)
本章介绍一些kettle技巧和相关的问题解决方案kettle数据抽取中文乱码spoon.bak文件找到if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"这个后面添加 `"-Dfile.encoding=UTF-8"cmd运...原创 2019-09-27 16:56:02 · 370 阅读 · 0 评论 -
ETL工具(kettle)使用系列(四)-kettle调用webservice数据插入数据库-真实案例脱密处理
工作中遇到要和第三方公司对接数据的需求,而第三方用的接口是非常古老的webservice接口.客户要求用我们做一个webservice程序来处理,思考后选择用kettle + java版的webservice程序处理思路:可以分为3步获取到webservice返回来的xml字符串格式化xml字符串,使得成为kettle可以处理的xml字符串kettle调用xml组件,把相关数据插入到数据库作为客户端主动调用webservice服务获取到webservice返回来的xml字符串格式化xm原创 2020-05-14 15:59:22 · 4126 阅读 · 2 评论 -
ETL工具(kettle)使用系列(四)-kettle调用webservice数据插入数据库
kettle调用webservice数据插入数据库以获取 中国电视节目预告(电视节目表)为例子[第一步] 获得支持的省市(地区)和分类电视名称 String()一共分为三个步骤调用webservice,获取到xml字符串特殊处理xml字符串插入数据库以获取 中国电视节目预告(电视节目表)为例子地址:http://ws.webxml.com.cn/webservices/ChinaTVprogramWebService.asmx?wsdl[第一步] 获得支持的省市(地区)和分类电视名称 S原创 2020-05-08 19:29:48 · 1763 阅读 · 1 评论 -
ETL工具(kettle)使用系列(三)
kettle脚本实例说明病人基本信息表数据转换脚本 这个脚本主要包含数据的插入更新。插入更新数据是根据病区、病房、病床三个字段为主键进行判断。来选择是插入数据还是更新数据His映射转换是源数据视图和his映射表根据病区、病房、病床进行内连接,把院方的病区病房病床转换为我们系统的病区病房病床javaScript组件是可以进行编码的,可以进行一些特殊的操作,比如年龄后面增加岁,计算金额等一系列操...原创 2019-10-28 16:39:13 · 706 阅读 · 0 评论 -
ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理
项目背景:某医院提供两个restapi接口,我们需要把两个接口的数据整合一下放到我们的数据库项目分析:一个很小的工具可以做到,比如用java代码,但是需要写代码,本人太懒不想写。于是乎想到kettle工具。kettle脚本:链接:https://pan.baidu.com/s/1ipBwaugd1bT9r0vVe8SXyQ 提取码:uhub此项目有两个基本脚本和一个sing是任务脚本,第一个脚本:获取api接口的数据放入本地文件中;第二个脚本:从本地文件中获取数据经过处理插入数据库;第三原创 2020-07-08 11:28:23 · 8842 阅读 · 9 评论 -
ETL工具(kettle)相关资料-《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》研读
Matt Casters的博客:http://www.ibridge.be/、 www.kettle.be书籍:《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》链接:https://pan.baidu.com/s/15iUOWOCb8g_YLo5WN9fh0A 提取码:5upfkettle起源Kettle一词起源于“KDE ETTL Environment”,因为最开始的计划是在K Desktop Environment(www.kde.org)上开发这个软件。在这个计划原创 2020-05-28 13:15:04 · 839 阅读 · 0 评论 -
ETL工具(kettl)使用系列(一)
项目开发中会遇到这样的需求:需要把不同数据库(oracle,mysql,sqlserver,db2,sybase,cache…)的中数据转换到我们系统数据库的数据,怎么做???经过研究我们选择使用ETL工具kettlekettle:开源的Java编写的ETL工具,可以在Window、Linux、Unix上运行.更多详细介绍可进入官网 http://www.kettle.net.cn/ ...原创 2018-11-01 14:00:02 · 1115 阅读 · 0 评论