aganliang的专栏

为了能够处理geometry类型的数据，PDI需要安装pentaho-gis-plugins该插件下载地址：atolcd / pentaho-gis-plugins不同PDI版本对应选择下载不同版本，比如我的PDI是8.2，那我就下载：pentaho-gis-plugins-1.3.0-bin-8***按照README.MD的指引：*******Method 2 : Man...

一、oracle中的操作1.建立时间中间表，并初始化数据create table C_HZ_JWS_TIMES( id NUMBER not null, last_load TIMESTAMP(6), current_load TIMESTAMP(6))INSERT INTO C_HZ_JWS_TIMES( id, last_load, ...

环境: PDI 8.2 ,windows, oracle 12C, postgres 12在spoon上，建立一个数据库连接postgres_150，并共享出来。建议使用jndi的方式，下面更新后，需要重启spoon（这是它的缺点）simple-jndi/jdbc.properties的设置如下：postgres_150/type=javax.sql.DataSourcepos...

一、使用时间戳抽取数据原理 数据库之间基于时间戳同步数据，原理是通过判断数据采集或者更新时间与某一个基准时间对比，把数据在时间的维度进行排序，同步变化了的数据，具体如图所示： A表是主表，B表是附表，中间表：时间戳表Time记录同步的基准时间。它的工作流程如下： 1.Time表的原始记录是（T0,T0），一旦开始同步，它会变成（T0,No...

目前，ETL工具的典型代表有: 商业软件：Informatica PowerCenter，IBM InfoSphere DataStage，Oracle Data Integrator，Microsoft SQL Server Integration Services等 开源软件：Kettle，Talend，Apatar，Scriptella等...

打开Kettle，建立 转换 ，在DB连接中可以配置所有的数据库连接，以便在后续的过程中使用。连接创建并测试通过后可以在左侧DB连接下右键共享出来。因为在单个作业或者转换中新建的DB连接都是都是局域数据源，在其他转换和作业中是不能使用的，即使属于同一个作业下的不同转换，所以需要把他们共享，这样DB连接就会成为全局数据源，不用多次编辑。 注意：在数据库链接的过程中，...

本例子，来源表是一个oracle视图，目的表是一个oracle表，采用“表输入—表输出”进行ETL。1.在Spoon中，打开核心对象——表输入 数据库连接中选择 DB连接中的视图，SQL语句是相关的视图，需要哪些字段、过滤哪些条件，都是在SQL里面设置。如下图所示。2.在Spoon中，打开核心对象——表输出 选择数据库连接，目标模式是oracle的...

1.建立一个转换，包括一个表输入（来自mysql），一个表输出(oracle)2.建立一个job每一分钟就输入一次数据可以发现oracle的表里面定期输入数据如下：       ...

日常使用Kettle的spoon来ETL数据，经过一段时间的使用，下面总结一下。 目标库是我的数据库，源库是外部提供的数据库。1.在目标库建立时间中间表，包括三个字段：id, current_load_time, last_load_time，中间表用于衡量数据更新的标准，需要提前写入一条记录；由于源表的时间字段有两种类型：date和timestamp，时间...