datastage
关注
分享
扫一扫
bfhai
ETL
展开
-
datastage Transformer中使用IsValidDate函数会引发警告
问题使用IsValid函数检查日期是否有效时，如果日期无效，该函数将引发警告。在DataStage 7版本和8.1版本中，没有警告，但在v8.5及更高版本中，出现警告。示例：场景1： StageVar = 20141231 If IsValidDate("2014-12-31") Then "Valid" else "InValid" 此时无日志警告场景2： StageVar = 20143112 If IsValidDate...原创 2020-05-14 17:38:55 · 751 阅读 · 0 评论 -
datastage db2 connector无法显示properties标签
DB2 Connector连接器缺失属性标签，原因是客户端计算机上安装了另一软件，该软件将ExGrid.dll升级到了与DataStage Clients不兼容的更高版本。解决方式有三种1.关闭datage客户端 在dos窗口中执行以下命令 regsvr32 C:\IBM\InformationServer\Clients\Classic\ExGrid.dll 其中C:\IBM...原创 2020-04-23 17:15:56 · 556 阅读 · 0 评论 -
使用DSEXPORT.exe导出带执行码的dsx文件
dsexport语法如下dsexport.exe /AF=authfile | /URL=domainURL /H=hostname [/U=username [/P=password]] | /D=domain /H=hostname [/U=username [/P=password]]/JOB=jobname/XML /EXT /EXEC /APPEND /NODEPENDEN...原创 2020-04-23 16:56:20 · 813 阅读 · 1 评论 -
datastage登陆报错之 Failed to authenticate the current user against the selected Services Tier
问题描述，新安装客户端后，客户端无法登陆，其他机器的客户端连接正常。检查hosts文件中机器名 ip已配置ping ip能正常ping通，但是ping主机名失败此时修改hosts文件中，将127.0.0.1 localhost 这一行的注释符#去掉ping localhost，得到结果如下此时localhost解析的是::1的地址，而上面配置的是127.0.0....原创 2018-12-17 22:24:34 · 3179 阅读 · 0 评论 -
datastage错误之Consumed more than 100,000 bytes looking for record delimiter; aborting
在DataStage处理比较大的列时，您可能看到的上图的错误消息“Consumed more than 100,000 bytes looking for record delimiter; aborting"原因：默认情况下，每个字段的最大长度（以字节为单位）是100,000字节。 其次，DataStage作业需要在单个块中传输每个记录。 块的默认大小为128KB。可以设置多个环境变量来...原创 2018-11-17 22:03:11 · 1405 阅读 · 0 评论 -
在datastage8.7版本使用truncate清空表，同时使用before语句时的坑
问题描述在datastage8.7版本中使用db2 connector往表中写入数据，Table action选择Truncate，同时在before sql中使用sql语句，对另一只表做DML操作;如果DML语句报错时，此时清空表的操作会异常中断，导致目标表出现SQLCODE=-1477,SQLSTATE=55019的错误，此时只能drop表后重建测试流程如下:新建两张测试表，并插入...原创 2018-11-21 17:32:58 · 979 阅读 · 0 评论 -
datastage中使用Pivot Enterprise stage实现行转列
一、行转列通过datastage实现输入数据如下：REPIDlast_nameJan_salesFeb_salesMar_sales100Smith1234.081456.801578.00101Yamada1245.201765.001934.22输出数据如下：REPIDlast_nameQ1salesPivot_inde...原创 2018-11-14 21:57:06 · 1068 阅读 · 1 评论 -
datastage join时无数据输出
join的两只输入都有数据，但是输出无数据，修改input的分区方式为hash分区即可原创 2018-11-05 21:08:36 · 455 阅读 · 0 评论 -
datastage中使用jdbc方式连接数据库（以oracle为例）
在datastage 9.12版本之后开始支持jdbc connector stage连接数据库，配置及使用方式如下1.配置驱动配置文件（IS_HOME/Server/DSEngine目录下,IS_HOME是 InfoSphere Information Server 的home目录）cd /opt/IBM/InformationServer/Server/DSEnginevi isj...原创 2018-11-09 10:02:36 · 4112 阅读 · 0 评论 -
datastage屏蔽警告信息
使用Datastage的Director可以对设计的Job进行验证、运行、任务调度和监控的工作。也可以针对Job的运行查看运行的聚合统计情况。开发过程中可能会因为数据原因出现一些警告信息，而这些警告信息又不方便消除，可抑制警告信息在director中，右键选中有警告的datastage作业，在菜单中选择viewlog进入log页面右键单击警告信息，在清单中选择Add rule to...原创 2018-11-23 16:08:32 · 758 阅读 · 0 评论 -
datastage8.7版本编译作业时报Failed to invoke GenRuntime using phantom process helper
编译作业时报如下错误导致此错误的可能原因包括：服务器/ tmp空间已满作业状态不正确。uvodbc配置文件的格式问题有问题文件DS_STAGETYPES损坏内部锁。问题排查登录 DataStage Administrator客户端. 选中作业所在的工程. 点击Properties按钮. 在Properties视图中, 点击Tracing标签 勾选Enable...原创 2019-07-11 10:08:56 · 1262 阅读 · 0 评论 -
Datatage中Parameter Set的使用
1.新建Parameter Set，File-->New视图下，选择Other-->Parameter Set,点击OK在General标签下输入参数集名称，参数集名称应该简短在Parameter中定义参数，参数名称需要具有可描述性2.新建测试作业，在Job Properties中，通过Add Parameter Set引入之前添加的参数集测试作业如下...原创 2019-06-13 11:18:09 · 2178 阅读 · 0 评论 -
解决datastage调用oracle存储过程时存储过程抛出异常而作业不中止的问题
创建测试表及插入测试数据create table TEST_20190523(COL1 varchar(20) not null,primary key(COL1));insert into TEST_20190523 values('A')insert into TEST_20190523 values('B')创建测试存储过程create or replace PRO...原创 2019-05-24 16:31:00 · 1022 阅读 · 0 评论 -
使用DSXImportService.sh在Datastage服务端导入dsx文件
DSXImportService.sh在engine层ASBNode/bin目录下，默认安装路径为/opt/IBM/InformationServer/ASBNode/bin/,此脚本的作用是将.dsx文件导入到指定的存储库中语法如下：-ISFile <isFile> [-ISHost <isHost>[:<port>]] [-ISUser &l...原创 2019-04-19 17:30:40 · 1247 阅读 · 0 评论 -
datastage调用存储过程
创建测试表create table DB2INST1.PROC_RUN_LOG( ETL_DT varchar(8) not null, PROC_NAME varchar(50) not null, RUN_TIME timestamp);创建测试存储过程#PROC_TEST1CREATE PROCEDURE "DB2INST1"."PROC_TE...原创 2019-04-07 19:01:12 · 1769 阅读 · 0 评论 -
如何使用DataStage连接SAP HANA
在Datastage中需要通过ODBC的方式连接HANA。 HANA提供ODBC / JDBC驱动程序，这是SAP目前向HANA提供第三方访问权限的标准和唯一方式。 注意：SAP Pack无法通过SAP ABAP / BAPI / IDOC接口连接到HANA数据库。 以下是配置与HANA的连接的步骤：1.编辑uvodbc.config文件[ODBC DATA SOUR...原创 2019-01-15 12:01:53 · 1397 阅读 · 0 评论 -
DataStage系列教程 （Change Capture）
Change Capture可以比较具有相同列的数据集的差异，得出一个数据集（After）在另一个数据库（Before）的基础上产生的哪些变化。变化类型如表1：变化代码 变化 中文说明 0 no change 无变化 1 insert 新增 2 delete 删除 3 edit 有变化 表1 变化种类1 JOB...转载 2019-01-25 15:44:55 · 10981 阅读 · 0 评论 -
datastage中使用oracle connector中抽取clob字段时报ORA-24806
报错信息如下Oracle_Connector_1,0: The OCI function OraOCILobRead2 returned status -1. Error code: 24806, Error message: ORA-24806: LOB form mismatch. (CC_OraBigBufferHandler::callbackGetDataFromOCILobLoca...原创 2018-12-29 16:57:54 · 3548 阅读 · 0 评论 -
DataStage_Transformer常用函数
Date$Time 函数名称 测试用列 描述 测试结果 CurrentDate CurrentDate() 获取系统当天日期 2008-08-05 CurrentTime CurrentTime(...原创 2018-11-26 17:21:13 · 3594 阅读 · 0 评论 -
datastage作业解锁
错误描述:The Job 'TestJob' is locked by user 'dsadm'(SessionID '8F1B0326-4F7E-45A8-B8EC-EAA8C4780528')Do you want to continue and open a read-only view of the Job? 解决方法:1.在 datastage designer To...原创 2018-10-26 15:41:36 · 3295 阅读 · 0 评论 -
InfoSphere DataStage 运行时列扩展（RCP）在 ETL 中的应用
总体阐述随着企业信息化建设的发展，大量企业都在架设基于自身所在行业的特点的商业智能系统，来指导商业运营。设计合理，运营高效的商业智能系统，在企业的经营决策中，越来越起着至关重要的作用。IBM InfoSphere Information Server 作为可扩展的企业信息体系结构基础，可以满足企业对于巨大信息量的需求，使企业在运营中更快的交付使用高质量的业务成果。 IBM Info转载 2017-09-05 22:52:36 · 867 阅读 · 0 评论 -
datastage中新建用户
登录控制台 以isadmin用户登录选择Administration选项卡浏览器左端依次点击如下按钮浏览器有段点击新建用户 新建用户并赋权 将新建立的用户映射到DS引擎中原创 2017-09-13 16:09:52 · 1241 阅读 · 1 评论 -
datastage TD connector报错
在使用Teradata Connector加载数据时，原数据加载方式为Bulk Load，因Bulk Load消耗资源比较高，顾将小于2G的文件的加载方式修改为Bulk Stream；但是修改后作业报如下错误Job step STATUS_TABLE_SETUP completed successfully TPT_INFRA: TPT02111: Error: Operator libs原创 2017-08-23 22:36:34 · 588 阅读 · 0 评论 -
datastage作业正常导入，但是运行时失败，报找不到OshExecuter.sh
今天生产环境有个作业异常报错，在开发环境修改此作业后，往生产上重新导入此作业时，导入正常，但是运行时，报找不到OshExecuter.sh ，查看RT_SC目录后，发现作业导入后并未创建RT_SC文件夹，可以定位出作业已经损坏了，官网上解释的作业的损坏原因如下tmp UVTEMP 目录或 InfoSphere® DataStage® 项目目录中的磁盘空间已满。32 位散列文件大小超原创 2017-08-15 23:06:25 · 1275 阅读 · 0 评论 -
datastage解决cannot get exclusive access to a log for a job的方发
dastage运行作业时会在数据库中指定一个session，防止一个作业在运行时被重复调度，但是当作业异常中止时，这个锁可能不会被自动释放，导致此作业无法删除或者编译。这时需要手动释放这个锁。解锁方式如下cd $DSHOME. ./dsenv启动uvsh命令bin/uvshLOGTO projectnameLIST DS_JOBS jobname #查看作业NO L原创 2017-08-15 22:53:27 · 2821 阅读 · 0 评论 -
datastage status code的含义
Status Code是运行dsjob命令后的回归值，以下是StatusCode的设定意义Status Code含 义0This is the only status means the job is actually running1Job finished原创 2017-08-25 22:51:09 · 2892 阅读 · 0 评论 -
datastage常用术语
DataStage Term DescriptionDataStage AdministratorClient program that is used to manage the project of DataStage.DataStage serverDataStage se原创 2017-08-21 22:37:43 · 983 阅读 · 0 评论 -
datastage作业hang住
最近生产上经常有ds作业hang住，杀掉进程重做后偶尔成功，偶尔不成功，报错信息如下 main_program: (aptoci.C:500). Message: ORA-12152: TNS:unable to send break message (aptoci.C:637). Message: ORA-03114: not connected to ORACLE原创 2017-08-14 22:42:17 · 1489 阅读 · 0 评论 -
datastage因ftp作业超时报错的解决
作业报错信息如下：ECIF_FTP,0: error: ftp returned 426ftp msg: 426 Data connection: Error 0错误分析：CBS_BDSKH中sql语句如下：SELECT a.kehhao, a.gerzwm,a.gerywm, a.guobdm,a.jinnbz, a原创 2017-08-13 22:27:24 · 1145 阅读 · 0 评论 -
datastage Transformation函数之INDEX
Index(String, Substring, Occurrence): 它将会返回输入的字符在字符串中的起始位置。我们可以用它来实现grep命令判断指定的字符是否在输入的字符串中的功能 Ex:-1. 判断'le'是否存在于字符串'Incol'中 If Index(Incol, 'le', 1) > 0 then原创 2017-08-20 10:09:46 · 743 阅读 · 0 评论 -
datastage Transformation 函数之 UpCase和DownCase
Downcase(column): 此函数将输入的字符串转换为小写input = 'This is me'input1 = 'this is me'input2 = 'THIS IS ME'DownCase(input) = 'this is me'DownCase(input1) = 'this is me'DownC原创 2017-08-20 10:01:02 · 1342 阅读 · 0 评论 -
datastage文件入库乱码问题
源文件字符集为ISO8859，目标数据库为DB2，数据库编码为UTF8工程字符集设置的为默认编码UTF8，文件直接入库后发现数据库中的中文为乱码解决方式：作业级的NLS配置保持不变，默认为UTF8SequentialFile配置NLS为GBK，在字段扩展中添加UnicodeTransfo原创 2017-10-07 11:44:27 · 2801 阅读 · 0 评论 -
切换datastage应用用户
Datstage安装时需要指定一个对应的应用用户，默认的应用用户为dsadm，安装完成后如需切换用户为depuser，需做如下修改cd $DS_HOME修改.dsadmin文件中dsadm为depusercd /opt/IBM/InformationServerchown –R deposer:depgroup Server此方法虽能强行修改为depuser用户原创 2017-10-17 20:13:48 · 714 阅读 · 0 评论 -
datastage服务的停止与启动
停止服务Infosphere Datastage停止服务的顺序如下 停止Engine服务 停止ASB Agent服务 停止WebSphere Application Server（WAS）服务具体步骤如下：（1）以root用户登录Infosphere Datastage服务器（2）检查是否有残留进程检查job产生的进程ps -ef | grep phantom检查para...原创 2017-10-10 21:08:47 · 7296 阅读 · 0 评论 -
datastage错误之 ODBC_Connector_0: ODBC Info: SQLSTATE = 42000: Native Error Code = 7,405:
报错信息 ODBC_Connector_0: ODBC Info: SQLSTATE = 42000: Native Error Code = 7,405: Msg = [IBM(DataDirect OEM)][ODBC SQL Server Legacy Driver][SQL Server]异类查询要求为连接设置 ANSI_NULLS 和 ANSI_WARNINGS 选...原创 2018-10-23 17:18:54 · 1485 阅读 · 0 评论 -
datastage dsengine因空间不足启动报错
df -h 查看磁盘空间的使用情况删除无用的文件释放空间后重启即可原创 2018-10-08 20:23:34 · 953 阅读 · 1 评论 -
datastage错误之Adaptive job monitoring feature is disabled; could not create polling thread
DataStage作业偶尔失败，并出现以下错误：Message: APT_CombinedOperatorController(17),1: Adaptive job monitoring feature is disabled; could not create polling thread: Resource temporarily unavailable.Message: cs}}...原创 2018-09-29 10:19:38 · 1352 阅读 · 0 评论 -
datastage lookup组件报 Field 'column name' has keyprep export buffer overrun error
在datastage中使用lookup组件时报错如下Field 'column name' has keyprep export buffer overrun errorFiled keylookup on table ('/tablename'),Key value:'key value'解决方法，修改输入字段和映射字段的长度 一致即可 ...原创 2018-09-17 17:00:57 · 823 阅读 · 0 评论 -
控制datastage sequence作业中某一个作业报错时，整个数据流报错
在Automatically handle activies that fail前打勾即可原创 2018-03-21 13:57:39 · 1262 阅读 · 0 评论 -
datstage处理文本文件中存在多余换行符的数据
在使用ds读取文件时可能会遇到字段中包含换行符的情况，在并行作业中并没有内置的方法来处理这中情况。ds读取文件的时候是根据行尾字符来定位一行是否结束，它一次读取一行数据，然后解析这些列。解决此问题的几个解决方法是：•使用并行作业中的Extend Source组件，用sed、awk等预处理文件，将文件中多余的换行符处理掉•使用作业中的预处理功能，调用脚本或其他自定义程序将文件提前清洗原创 2017-11-24 17:15:57 · 1394 阅读 · 0 评论