荣耀之路

文章来自IBM官网。只转链接：用IBM WebSphere DataStage进行数据整合 第 1 部分https://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0602zhoudp/传统的数据整合方式需要大量的手工编码，而采用 IBM WebSphere DataStage 进

有些事后ds报错，或者调用ds命令的时候报错，试试yuanxu

人员表 A(age,name) 年龄分段表 B(max,min,ageid) A表关联B表，获取对应的年龄分段ID。 之前查了很多资料不知道怎么做，会了以后觉得好简单。现记录备忘。

在DB组件中，适当增大【Transaction\Record count】【Session\Array size】值。

这只是一种不太好的方法，也许还有更好、更简便的方法。这种方法要求每次运行Job之前删除已有的日志信息，否则无法统计出正确的记录数。当然，在Job跑完之后，可以在shell备份本次Job运行的日志到服务器磁盘。

时间的转化在datastage中总是遇到这样的一种错误DB2_Connector_20,0: SQLExecute reported: SQLSTATE = 22007: Native Error Code = -180: Msg = [IBM][CLI Driver][DB2/AIX64] SQL0180N The syntax of the string representation

很多时候会遇到一种需求：目标表：t（a,b,c,d,e） 需求：往目标表中插入数据时，如果数据源与目标表中某条记录的部分列（eg：a,b,c）相同，则不插入。 解决思路：数据源src与目标表des使用Lookup关联，src作为流，des为引流。查找失败选项选择拒绝。我们需要的数据流则为拒流上的数据，另外将匹配上的数据流随便保存到一个文件。 Tips：如果需要匹配的字段如char，则需

在自己工作中需要调度job，在自带的directo

我在用datastage的时候发现有些stage例如join stage,aggregate stage,sort stage等，不就实现了order by ,sum ,连接等sql功能吗，那么我干嘛不在数据源的时候就做好这些事情呢，何必用这些stage呢？例如我搞个odbc stage，自定义 sql select count(1),a from A group by a不就可以了吗

在进行datastage开发过程中发现如下错误

QuestionWhat are the DataStage job status log values seen during execution, running, completion or failure of job?AnswerThey show what values can be used when designing job sequencers when d

转自http://hi.baidu.com/developers/item/a76278ea706c1de3fa42ba82随机分区和Same分区和完全分区随机（Random）分区是DataStage的分区方法之一。随机分区是这样操作的：DataStage将输入数据随机地分配到所有节点上。与循环分区类似，随机方法所产生的分区，各个节点上处理的数据也都大致相等。但与循环分区相比，随机分区

这三个组件网上看了半天也没内

在使用 IBM InfoSphere Information Server 的过程中我们经常会遇到一些问题，但如何来查找和诊断问题，对于一个刚刚使用 IBM InfoSphere Information Server 的用户来说这或许是一个很棘手的事情。但是不必担心，因为 IBM InfoSphere Information Server 产品从安装、运行到卸载都为我们提供了大量的多种形式的日

DataStage在正常运行时候有以下两个主要的进程:1.dsrpcd(DS的主进程)$ps -ef | grep dsrpcdroot 1602486       1   0 09:42:17 pts/5 0:00 /app/dsadm/Ascential/DataStage/DSEngine/bin/dsrpcd2.JobMonApp(jobmonitor的进程

序言在之前的工作中，用到的都是一些很简单的transformer的转换功能，比如直接加一些函数做一些判断然后输出，或者构造一些列！没有用到他的loop功能及stage variable功能，这篇主要是对他们的学习transformer基本功能回顾功能说明：一个功能极为强大的Stage。有一个input link，多个output link，可以将字段进行转换，也可以通过条件来指定数

详见官方文档：http://pic.dhe.ibm.com/infocenter/iisinfsv/v8r5/index.jsp?topic=%2Fcom.ibm.swg.im.iis.ds.parjob.dev.doc%2Ftopics%2Fr_deeref_Date_and_Time_Functions.html

问题一SQL0407N  Assignment of a NULL value to a NOT NULL column "TBSPACEID=2, TABLEID=50, COLNO=8" is not allowed.  SQLSTATE=23502 解决：上面的错误信息没有直接给出table名，可以通过下面的语句得到table和columnSELECT * FROM SY

ETL调度中不乏要用shell脚本来运行DATASTAGE中的JOB,现测试一下DSJOB的用法然后总结一下（边测试边总结）dsjob -run [-mode ] PROJECT_NAME JOB_NAME-mode为选择运行模式，NORMAL表示正常运行，此时和不写-mode是一样的；RESET表示重置，当job在中止状态时要先RESET，之后才能再正常运行；VALIDATE

使用DataStage也有一段时间了，在实际工作中也经常从同事处零星的获取一些优化技巧，网上也能找到一些Job优化的小技巧点。但总觉得没有一篇相对有水平且完整的从方法论的高度阐述Job优化的文章。本文根据本人长期的DataStage开发实际经验，从Job优化的方法论的指导原则的角度，阐述一些自己的愚见。希望能对奋斗在DataStage Job开发一线的朋友们有一定的实际帮助。另外由于实际能力所限，

sequential file stage的输入