
ETL
Demonson
桃李春风一杯酒,江湖夜雨十年灯。
展开
-
Oracle 物化视图
一、物化视图的一般用法物化视图是一种特殊的物理表,“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表,应用的局限性大,任何对视图的查询,Oracle都实际上转换为视图SQL语句的查询。这样对整体查询性能的提高,并没有实质上的好处。1、物化视图的类型ON DEMAND、ON COMMIT。二者的区别在于刷新方法的不同,ON DEMAND顾名思义,仅在该物化视图“需要”被刷...原创 2018-03-22 15:57:46 · 333 阅读 · 0 评论 -
informatica-etl全量增量设计流程
在数仓ODS层创建目标表例:若源表为test01目标表在172.16.0.133/oratest ods_wshh/wshh@2015的格式:创建全量覆盖工作流在sourcetarget目录导入工作流所需要的源和目标并保存01导入源:02导入目标:03保存 Ctrl + s打开项目ODS_MOQ文件夹,用拖拽的方式建立源和目标表的快捷...原创 2019-03-30 11:38:01 · 2101 阅读 · 1 评论 -
Informatica Update更新逻辑机制优先顺序详解
Informatica 作为ETL工具,Update是其很重要的一个特性。也正因为如此,我们会发现在Informatica工具的很多地方都会有Update的相关设置,许多时候给大家都造成了很大的迷惑,不知道谁先谁后,谁的优先级高,或者具体的作用是什么,希望能借此文给大家一个清晰的概念。 Informatica 的Update过程简单说,就是给每条数据设置一个Delete,Inser...原创 2018-12-06 13:01:29 · 2199 阅读 · 2 评论 -
informatica 9.6.1安装“坑”列表
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/Eason_oracle/article/details/53633892最近这几天因为项目需要,使用informatica powercenter ,说实话,网上确实很难找 informatica 软件的下载。比较官方的下载地方是:https://edelivery.oracle.com/osd...转载 2018-11-24 12:33:37 · 1203 阅读 · 0 评论 -
Informatica的下载安装和配置
原文:https://blog.youkuaiyun.com/u011031430/article/details/76167934 图形界面如下图:安装成功,安装客户端环节直接跳过,最后使用客户端连接测试。配置域Key Value Desc域名 Domain_RotKang 主机名 rotmain 在host...转载 2018-11-24 11:41:53 · 1097 阅读 · 0 评论 -
Informatica学习:1、安装介质的获取与安装
阅读目录一、准备 1、安装介质的获取 2、数据库端准备 (1)创建存放info相关信息的表空间 (2)创建域用户并分配权限,用来管理域 (3)创建资源库用户并赋权 (4)创建数据分析用户并赋权 (5)创建元数据用户并赋权 二、服务器端安装 三、客户端安装 三、组件介绍本文目标: 为方便学习Informatica工具,在个人电脑上部署I...转载 2018-11-24 09:57:33 · 383 阅读 · 0 评论 -
Informatica 初学日记全
1. INFORMATICA CLIENT的使用1.1 Repository Manager 的使用1.1.1 创建Repository。前提:a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev)b. 要在你要连接的数据库中新建一个用户(例:name: ETL password: ETL)现在你可以创建一个Repository了...转载 2018-11-23 18:05:30 · 686 阅读 · 0 评论 -
Oracle sqlldr的用法 (这个最完整)
在 Oracle 数据库中,我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法:1. A 表的记录导出为一条条分号隔开的 insert 语句,然后执行插入到 B 表中2. 建立数据库间的 dblink,然后用 create tableB as select * fromA@dblinkwhere ...,或 insert intoB select * fromA@dbli...转载 2018-03-27 14:03:34 · 59505 阅读 · 6 评论 -
imp-00003 遇到oracle错误959
IMP-00003: 遇到 ORACLE 错误 959ORA-00959: 表空间 'XXXXXXXXXXX' 不存在。今天有个需求:需要从一个用户导15张表到另一个用户,数据挺大,就选在用exp/imp工具,简单方便;由于表空间两个用户默认不同,所以加了参数ignore=y,以便能成功导入;imp ***/*** ignore=y tables(***) file=E:\bak\tab...原创 2018-04-09 17:08:36 · 6101 阅读 · 1 评论 -
Kettle:利用设置变量(时间戳)实现数据增量更新
要实现实时的增量更新共有两种方法:1.通过触发器。在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时 表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高,缺点是要求业务表建立触发器,对业务系统有 一定的影响。 2.通过时间戳。我是在两边数据库的表里插入了一列...原创 2018-04-08 15:04:48 · 13284 阅读 · 1 评论 -
Kettle中通过触发器方式实现数据 增量更新
Kettle中通过触发器方式实现数据 增量更新在使用Kettle进行数据同步的时候, 共有1.使用时间戳进行数据增量更新2.使用数据库日志进行数据增量更新3.使用触发器+快照表 进行数据增量更新 今天要介绍的是第3中方法。 实验的思路是这样的,在进行数据同步的时候,源数据表为A表, A表要对 目标表(target table) B 表和C表进行数据的同步更新。即A表中的对应字段发生变化之后, 会通...原创 2018-04-08 15:03:51 · 4302 阅读 · 0 评论 -
ETL抽取工具informatica powercenter designer实例
一、 安装配置安装好Informatica首先,需配置一下修改配置文件路径为地址:C:\Windows\System32\drivers\etc将“10.10.23.112 BIEE”复制到后面。(注:第二个ip地址哪里,要在hots文件加一个配置二、 创建域新建一个域名称:Domain_BIEE地址:10.10.23.112 端口:6005 登录的账号密码...原创 2018-03-21 13:59:25 · 4462 阅读 · 0 评论 -
exp导出出现:ORA-00904: "POLTYP": invalid identifier 导出规则
《exp导出出现:ORA-00904: : invalid identifier》:http://blog.itpub.net/23135684/viewspace-1336722/ exp导出老是出现ORA-00904: "POLTYP": invalid identifier可能有两个原因:1).服务器和客户端一个是x86bit的,一个是x86_64bit的安装程序。2).客户端和服务...原创 2018-03-23 12:36:42 · 3989 阅读 · 0 评论 -
Kettle — 安装和集群搭建
前提Kettle是纯Java编写的ETL开源工具,目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置,Java版本是否是8或者以上。Kettle安装1)创建Kettle的目录,并将Kettle的zip包解压到Kettle目录下2)查看一下sh文件使用都有执行的权限,如果没请加上。...转载 2019-05-16 17:29:36 · 1481 阅读 · 1 评论