DataStage开发规范

最新推荐文章于 2024-03-26 18:10:05 发布
原创 最新推荐文章于 2024-03-26 18:10:05 发布 · 3.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#generator #duplicates #integer #file #oracle #string

本文档详细规定了使用DataStage开发ETL程序时的命名规范，包括Job、Stage、DSlink、文件和参数等多个方面的命名规则。例如，Job命名遵循ETL类别、系统简称和表名的组合，Stage和DSlink有特定的编号约定，文件命名考虑了Data Set和Sequential File两种类型，参数命名区分文件、时间和数据库等不同类别。

  DataStage开发规范

1.1.    简介

本文档对采用DataStage工具开发ETL程序的命名及代码编写进行规范性描述。

1.2.    命名规范

ETL的类别说明

etltype

说明

I（大写字母i）

增量数据加载程序(Incremental)

N

存量加载程序(iNitial)

 

Job的类别说明

jobtype

说明

Cv

变换程序(Convert)，CIF层job

Tr

转换程序(Transform) ，LDF层job

Ld

加载程序(Load) ，LOD层job

Pu

公用Job

SEQ

Sequence Job

 

系统名--简称列表

系统名

系统简称

核心系统

Core

..

…

IDS

Ids

 

Job目录结构

最低0.47元/天 解锁文章
DataStage作业开发步骤
weixin_40543389的博客
10-27 1912
DataStage作业开发步骤
Datastage产品开发使用指南.pdf
08-14
Datastage产品开发使用指南.pdf
DataStage开发指南
05-11
目 录 I 1. 引言 1 1.1 编写目的 1 1.2 帮助使用 1 2. 产品概述 2 3. 常规应用 3 3.1 常用组件使用方法 3 3.1.1 Sequential file 3 3.1.2 Annotation 7 3.1.3 Change Capture Stage 8 3.1.4 Copy Stage 10 3.1.5 Filter Stage 11 3.1.6 Funnel Stage 12 3.1.7 Tansformer Stage 13 3.1.8 Sort Stage 14 3.1.9 LookUp Stage 15 3.1.10 Join Stage 15 3.1.11 LookUp Stage 和 Join Stage的区别 16 3.1.12 Merge Stage 17 3.1.13 Modify Stage 18 3.1.14 Data Set Stage 19 3.1.15 File Set Stage 21 3.1.16 Lookup File Set Stage 22 3.1.17 Oracle Enterprise Stage 25 3.1.18 Aggregator Stage 27 3.1.19 Remove Duplicates Stage 29 3.1.20 Compress Stage 30 3.1.21 Expand Stage 31 3.1.22 Difference Stage 32 3.1.23 Compare Stage 35 3.1.24 Switch Stage 36 3.1.25 Column Import Stage 38 3.1.26 Column Export Stage 40 3.1.27 Teradata Enterprise Stage 42 3.2 常用数据库的连接 44 3.2.1 Informix数据库连接 44 3.2.2 Oracle数据库连接 45 4. 高级应用 47 4.1 DATASTAGE BASIC接口 47 4.2 自定义STAGE TYPE 47 4.2.1 Wrapped Stage 47 4.2.2 Build Stage 47 4.2.3 Custom Stage 47 4.3 性能调优 47 4.3.1 优化策略 48 4.3.2 关键问题分析 52 4.3.3 并行度 53 4.3.4 处理建议 53 4.3.5 其它 54 4.3.6 机器的对称性 54 4.3.7 并行调度测试说明： 55 5. 开发经验技巧汇总 55 5.1.1 问题 55
转：datastage 开发指南
03-24
NULL 博文链接：https://xuan0506.iteye.com/blog/1040331
ETL开发指南(DataStage_EE使用介绍)V2.0.pdf
06-19
ETL开发指南(DataStage_EE使用介绍)V2.0 详细介绍datastage里各个组件的使用方法
datastage开发必备文档
09-26
datastage开发文档。java调度datastage必备文档
Datastage常用组件使用方法(详尽版)
事后诸葛亮的程序人生（微信：zq9017197）
05-31 3万+
常用组件使用方法： Sequential file 功能特点：适用于一般顺序文件（定长或不定长），可识别文本文件或IBM大机ebcdic文件。   使用要点：   按照命名规范命名   点住文件，双击鼠标，在general说明此文件内容，格式，存储目录等。 Annotation 功能特点： 一般用于注释，可利用其背景颜色在job中分颜色区别不同功能块
Datastage开发规范
07-30
### Datastage开发规范详解 #### 一、概述 在企业数据处理与集成的过程中，DataStage作为一款强大的ETL工具，其重要性不言而喻。为了确保DataStage项目的高质量完成，制定一套完整的开发规范显得尤为关键。本文档...
DataStage开发规范与命名规则总结
本文主要介绍了DataStage项目中的命名规则、开发流程、开发规范以及开发经验。其中，命名规则包括JOB名称、控件名称、落地文件名称和连线的命名与图标放置，开发流程涵盖开发环境、测试环境和生产环境，而开发经验则...
DataStage开发规范与表定义的重要性
在DataStage开发中，明确的表定义有助于避免歧义和错误，提高数据处理的效率和准确性。 首先，表定义对于字段名称的一致性至关重要。在描述中提到，例如保单号字段，可能存在多种不同的命名方式，如polno, plc_no, ...
DataStage开发学习文档(附8个PDF文件)
10-26
Administrator客户机指南.pdf DataStage_Fundamentals_All_Labs.pdf Designer客户机指南.pdf Director客户机指南.pdf Information Server Manager.pdf 并行作业开发者指南.pdf 命令行指南.pdf 全球化指南.pdf
DataStage企业版本(DSEE)与DataStage标准版本(DSSE)对比
04-07
DataStage企业版同标准版所使用的后台处理引擎(也就是数据转换的发动机)不同。DataStage企业版基于高性能的并行处理引擎，该引擎运行可执行作业，实现海量数据的提取、转换并加载。DataStage企业版引擎同时利用管道并行化和分区并行化，以实现高吞吐量、性能和可扩展性…………
DataStage开发文档
04-23
DataStage开发文档，里面有三个文档，都是比较详细的文档资料
Datastage中Sequential file和Data Set、File Set三者之间的区别
ciscgs80864的博客
11-23 808
在DS中有三种我们常用到的数据文件类型：Sequential file和Data Set、File Set 一、Sequential file 定长和非定长文件字符文件。 1、用于读文件和写文...
Java项目命名规范（简洁版）——高薪必看
热门推荐
yang_best的专栏
12-26 3万+
作为一个优秀的项目经理或项目带头人，必须养成良好优秀的项目命名规则和习惯。接下来把查到的资料整理一下，实际上，在很多项目中，也是遵循以下的规则。 一、项目名 全部小写，比如cms、workdesk,jobserver等 二、java相关命名 a、类命名：每音节单词前的第一个字母大写，比如FieldInfo、Expression等\ b、普通变量(包括spring里的变量引用命名)
ETL工具之DataStage
最新发布
runqu的博客
03-26 3638
DataStage是一种用于数据集成和ETL（提取、转换和加载）的数据集成工具。它是IBM公司开发的一款强大的数据集成工具，可用于从不同的数据源提取数据，进行转换，并将数据加载到目标系统中。DataStage具有图形化的用户界面，使用户可以通过拖放和链接数据集成的各个组件来构建数据流程。它支持多种数据转换操作，包括数据清洗、数据合并、数据分割和数据过滤等。DataStage还提供了强大的数据集成和数据质量功能，可以将数据从不同的数据源集成到一个统一的视图中，并进行数据质量分析和校验。
关于DataStage Designer
Yee_Qin的博客
07-30 951
ETL包括数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。 DS（Ascential DataStage）是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据仓库目标数据库的集成工具。 sequential File: 1、Format："Record level" 可以设置读取的长度是固定的，Record length = fixed; "Field defaults" 中可以设置 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值