nsj820的专栏

以windos下为例，其他环境下大同小异。1、登录sql/plus的批处理exec_proc.batsqlplus irsadmin/irsadmin @D:/IRS_EXEC/exec_body.sql >>D:/IRS_EXEC/proc_exec.log2、sql/plus调用的SQL脚本exec_body.sqlDECLARE V_ETLDATE VARCHAR2(8); O_RUNSTATUS NUMBER; O_MSG VARCHAR2(256);BEGIN

<br />1、ODS的接口表信息保存在一个EXCEL表中<br />该表格有如下特性：<br />1)、所有的接口清单都在一个工作簿中；<br />2)、每一个sheet中存放来自一类源业务系统表的接口信息；<br />3)、不同阶段的接口表，只要是来自同一个源业务系统，都放在同一张sheet中，有[阶段]字段加以区分；<br />4)、每个sheet中也都会有一个[业务系统]字段，但对于同一个sheet，其应是同一值；<br />5)、对于一个sheet，可以添加一些衍生字段，如[edw期望加载方式]、

<br />1、D盘根目录下新建WIN_ONLINE文件夹（程序全部在此目录下）<br />2、批调度程序<br />WIN_ONLIINE.bat<br /> D:cd D:/WIN_ONLINEsqlplus edw/edw@orcl @./ALL_CTL.CTLexit<br />3、总控脚本<br />ALL_CTL.CTL<br /> spool ./online.log@./create_table.spl;@./insert_data.spl;spool off;e

关于对数据仓库依赖关系的整理，经历了三个阶段：09年仓库1期的时候，仓库跑批依赖关系的整理是靠手工完成的，工作烦琐，要细心、耐心才能做好；10年做仓库2期的时候，考虑依赖关系是否能自动化完成，结果根据all_source数据字典表通过相应的限制及筛选条件用SQL语句找出了其依赖关系；接着就是现在，因为使用TOAD时无意中发现ORACLE中是应该会有一个体现依赖关系的数据字典表，结果就有了今天这样的一个方案。1、查找出需要排在前面跑批的存储过程 select distinct replace(referenc

<br />在做仓库2期的时候，由于1期2期的建库脚本都在一个PDM模型上，在生成建表语句的时候，一个个划勾(Database/Generate Database/Selection )导出所选表的建库脚本比较麻烦。所以，考虑用以下方案来做，可能会给我们带来一些帮助。<br />1、  环境说明<br />新建的两个用户：<br />(1)     ALLT 所有表的PDM表结构存储用户<br />(2)NEWT 需要新生成表的表结构存储用户，另：存储过程SP_DW_CREATE_NEW_TABLE、列表清

1、程序目录结构/home/oracle/IRS_OUT/.(根目录)                     │  IRS_DATA_OUT_CTL.sh                     │  yesterday.sh                     │                       ├─OUT_DATA(生成的数据文件路径)                     │      IRS_CUSTOMER_20101111.dat                     │ 

数据仓库项目在SQL代码开发完成后，要考虑程序代码间的依赖关系，统计用到的ODS源表情况，然后才能开发批处理调度程序。本文就此贴出查找程序调度依赖关系和统计用到的ODS源表的两段SQL代码。1、查找程序调度依赖关系 WITH EDW_TABLE AS (SELECT DISTINCT TRIM(SUBSTR(SUBSTR(UPPER(TEXT), INSTR(UPPER(TEXT), 'EDW', 1), 30)||' ',1,INSTR(SUBSTR(UPPER(TEXT), INSTR(UPPER(

1、根据EXCEL映射表，生成插入映射关系到EDW_MAP表的PERL程序INSERT_INTO_EDW_MAP.pl #!/usr/bin/perl -w######################################################################use strict; # Declare using Perl strict syntaxuse POSIX qw(strftime);use Win32::OLE qw(in with);us

<br />1、需要跑批的日期维护表<br />create_date_list_table.sql<br /> -- Create tablecreate table EDW_DATE_LIST( ID INTEGER, DATE_CUR VARCHAR2(8));<br />2、插入日期测试数据<br />插入7、8日期.sql<br /> truncate table Edw_Date_List;insert into Edw_Date_List (ID

AIX平台部分1、AIX平台下的Shellcat log_check.sh export yesterday=`awk 'NR==4' /home/oracle/IRS_EXEC/ago10.txt`export today=`date +%Y%m%d`if [[ -z $(ls /home/oracle/IRS_LOAD/bad) ]] && [ -f /home/oracle/IRS_EXEC/ctl_log/ok_$yesterday.dat ]; thenecho [$today]'IR

<br />1、从生产库上导出标准格式(username_YYYYMMDD.dmp)的备份<br />edw_exp_date.sh<br />DATE=`date +%Y%m%d`;export DATEexp edw/edw file=/ODS-DATA/DW_DMP/edw_$DATE.dmp log=/ODS-DATA/DW_DMP/edw_exp_$DATE.log OWNER=edw<br />2、用ftp或U盘将备份传到测试库<br />根据环境不同，采用合适的方式<br />3、重建

1、批处理、DMP、LOG等均在D:/Exp_Solutions目录下；2、用于获取N天前日期的VBS脚本mydate.vbsCreateObject("Scripting.FileSystemObject").CreateTextFile("D:/Exp_Solutions/MyDate.cmd").Write "Set MyDate=" & Date-73、查看测试N天前日期的批处理代码取N天前.bat @ECHO OFFCscript D:/Exp_Solutions/MyDate.vbs //N

<br />在进行数据仓库项目维护的过程中，有时候下游系统会要求仓库重新提供集市层某一日数据的情况。为了简便、可行，经常采用将ODS源表从生产环境上导到测试环境中，然后在仓库的测试环境中，跑出下游系统所需要的某一日的集市层数据。<br />对于这一方案，我们在各个环境有如下几点需要注意：<br />从生产环境的源取ODS数据根据数据加载情况的不同，会有如下要求：<br />1、ODS增量供数的源数据：导出生产环境日期小于等于需要供数日期的全部增量数据（导到测试环境后，需要根据源表主键构造全量）；<br />