Informatica元数据库解析

Infomatica安装,使用小笔记 无法ping通域 1.找到安装文件 PowerCenter_8.6.0_SE_for_Windows_32bit\pc86_win32_x86\目录下的install.bat, 它将调用子目录下的安装程序(.\Server\Windows\Disk1\InstData\VM\install.exe)。 默认情况下安装会报错:不能创建Domain或者node 所以在安 阅读详情

Informatica元数据库解析

转自:http://informatica.iblog.com/post/3070/70389

Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。
Informatica
通过表和视图给我们提供着所有的信息,在此将通过一个系列的帖子,将大部分常见的,且非常有用的表及视图介绍一下。基于这些东西,我们即可以根据不同的需求查出自己需要的数据,也可以开发一些辅助的Infa应用程序。
/////////////////////////////////////////////////////////////////////////////

OPB_ATTR:
INFORMATICA(Designer,Workflow等)设计时及服务器设置的所有属性项的名称,当前值及
该属性项的简要说明
例如:ATTR_NAME:TracingLevel
ATTR_VALUE:2
ATTR_COMMENT:Amountofdetailinthesessionlog
用途:可以通过该表快速查看到设计或设置时碰到的一些属性项的用途与说明

/////////////////////////////////////////////////////////////////////////////

OPB_ATTR_CATEGORY:
INFORMATICA各属性项的分类及说明
例如:CATEGORY_NAME:FilesandDirectories
DESCRIPTION:Attributesrelatedtofilenamesanddirectorylocations
用途:查看上表所提的属性项的几种分类及说明

/////////////////////////////////////////////////////////////////////////////

OPB_CFG_ATTR:
WORKFLOWMANAGER中的各个Folder下的SessionConfiguration的配置数据,每个配置对应表中一组Config_Id相同的数据,一组配置数据共23条
例如:ATTR_ID:221
ATTR_VALUE:$PMBadFileDir

用途:查看所有的SessionConfiguration的配置项及值,并方便的进行各个不同Folder间的配置异同比较

/////////////////////////////////////////////////////////////////////////////

OPB_CNX:
WORKFLOWMANAGER中关于源、目标数据库连接的定义,包括RelationalConnection,QueueConnection,LoaderConnection等
例如:OBJECT_NAME:Orace_Source
USER_NAME:oral
USER_PASSWORD:`?53S{$+*$*[X]
CONNECT_STRING:Oratest

用途:查看在WorkFlowManager中进行配置的所有连接及其配置数据

/////////////////////////////////////////////////////////////////////////////

OPB_CNX_ATTR:
上表所记录的所有数据库连接的一些相关属性值,一种属性值一条数据。例如对于
RelationalConnection类的连接,有附加三个属性,对应该表则有三条记录,分别记录其RollbackSegment,EnvironmentSQL,EnableParallelMode的属性值,分别对应ATTR_ID为10,11,12
例如:OBJECT_ID:22
ATTR_ID:10
ATTR_VALUE:1
(代表EnableParallelMode为选中)
VERSION_NUMBER:1

用途:查看所有配置好的连接的相关属性值,及一些环境SQL及回滚段设置,方便统一查看及比较

/////////////////////////////////////////////////////////////////////////////
OPB_DBD:
INFORMATICADESIGNER中所有导入的源的属性及位置
例如:DBSID:37
DBDNAM:DSS_VIEW
ROOTID:37
用途:关联查看所有源的属性

/////////////////////////////////////////////////////////////////////////////
OPB_DBDS:
INFORMATICAMAPPING中所引用的源,即Mapping与上表中源的对应关系
例如:MAPPING_ID:3
DBD_ID:4
VERSION_NUMBER:1
用途:查看一个定义了的源被哪些Mapping引用过,作为他的源或给出Mapping名,根据OPB_MAPPING表关联,可以查看该Mapping引用到哪些源

/////////////////////////////////////////////////////////////////////////////
OPB_EXPRESSION:
INFORMATICADESIGNER中所有定义了的表达式
例如:WIDGET_ID:1003
EXPRESSION:DECODE(IIF(TYPE_PLAN!='05',1,0),1,QTY_GROSS,0)
用途:通过与OPB_WIDGET表关联,查看整个元数据库中的所有Expression转换模块中的表达式定义

/////////////////////////////////////////////////////////////////////////////
OPB_EXTN_ATTR:
WORKFLOWMANAGER中的EditTasks时的Mapping页中,选中Targets时,其相关属性的设置值。每个属性值一条记录。
例如:ATTR_ID:2
ATTR_VALUE:ora_test1.bad

用途:通过关联直接查看所有Session的相关目标表数据加载设置

/////////////////////////////////////////////////////////////////////////////
OPB_FILE_DESC:
INFORMATICA中所有文本文件的读入规则定义,如分隔符等
例如:STR_DELIMITER:11,
FLD_DELIMITER:9,44,0
CODE_PAGE:936
用途:查看系统中不同的文本的规则定义

Informatica元数据库解析(二)

Informatica的元数据包括了我们在开发与配置时所碰到的所有数据,当然理论上我们可以通过直接修改数据库值来更改设置,但列出这些表的用途,仅是给大家一个查看信息的简便方法,即使对元数据库很熟了,也强烈建议不要直接修改元数据表的值,而应该通过Informatica工具来进行更改。

////////////////////////////////////////////////////
OPB_GROUPS:
INFORMATICA中所有组的定义
例如:GROUP_ID:2
GROUP_NAME:Administrators

用途:查看当前系统中所设置的所有组

/////////////////////////////////////////////////////////////////////////////

OPB_MAPPING:
INFORMATICA中所有Mapping的存储,并存储着Mapping的一些如最后一次存储时间、说明等属性信息
例如:MAPPING_NAME:m_PM_COUNT_BILL
MAPPING_ID:1521
LAST_SAVED:03/27/200620:00:24
用途:这张表的用途非常大,可以通过本表数据的查询,得出如某个时间以后修改过的所
有Mapping,所有失效了的Mapping,这个表的更大作用是和其他表作关联,得出
更多Mapping相关的信息

/////////////////////////////////////////////////////////////////////////////
OPB_MAP_PARMVAR:
INFORMATICA中Mapping的所有参数的定义,及其初始值等相关信息
例如:MAPPING_ID:1538
PV_NAME:$$DP_ENABLE_RAND_SAMPLING
PV_DEFAULT:0
用途:查看系统作所设置的所有参数信息,与OPB_MAPPING关联可以根据所给出的
Mapping
名查看该Mapping下所设置的所有参数信息

/////////////////////////////////////////////////////////////////////////////

OPB_METAEXT_VAL:
IINFORMATICA元数据扩展信息,记录了在设计中,所扩展的所有元数据相关信息
以下是某个Session的元数据扩展
例如:METAEXT_NAME:COMMENT
OBJECT_TYPE:68(Session)
PM_VALUE:TheLink'sMainTable,DesignbyJack

用途:查看在设计中所有扩展了的元数据信息,通过关联可以查看指定对象的元数据扩展信
息,帮助集中查看了解设计过程中的一些信息

/////////////////////////////////////////////////////////////////////////////

OPB_OBJECT_TYPE:
INFORMATICA设计中所有对象的定义表
例如:OBJECT_TYPE_ID:1
OBJECT_TYPE_NAME:SourceDefinition
用途:可以查看到现在INFOMATICA所定义了的所有对象,可作为其他表的关联维表,查看某个对象的所有相关信息

/////////////////////////////////////////////////////////////////////////////

OPB_PARTITION_DEF:
SESSION中所有的PARTITION定义
例如:SESSION_ID:2578
PARTITION_NAME:Partition#1
用途:通过关联,根据Session的名称,查出该Session所包含的所有Partition设置

/////////////////////////////////////////////////////////////////////////////

OPB_REPOSIT:
INFORMATICAREP服务器配置相关信息
例如:DATAVERSION:5002
PEPOSIT_NAME:hnsever
用途:查看INFORMATICAREP服务器配置信息

/////////////////////////////////////////////////////////////////////////////

OPB_REPOSIT_INFO:
INFORMATICAREP数据库连接配置信息
例如:REPOSITORY_NAME:TEST-REP
DB_USER:infa_user
DB_NATIVE_CONNECT:infa_conn
HOSTNAME:hnsever
PORTNUM:5001
用途:查看INFORMATICAREP服务器数据库连接配置信息

/////////////////////////////////////////////////////////////////////////////

OPB_SCHEDULER:
WORKFLOW中的所有SCHEDULER设置信息表
例如:SCHEDULER_ID:81
SCHEDULER_NAME:Scheduler_DAY_10
START_TIME:3/13/2005/00/20
用途:该表记录了所有的SCHEDULER信息,以及它的各项属性设置,方便整体进行考虑各个SCHEDULER间的调度配合

/////////////////////////////////////////////////////////////////////////////

OPB_SERVER_INFO:
INFORMATICASEVER服务器配置信息
例如:SERVER_NAME:INFA_SEVER
TIMEOUT:300
HOSTNAME:hnsever
PORT_NO:4001
IP_ADDRESS:196.125.13.1
用途:查看INFORMATICASEVER服务器配置信息

/////////////////////////////////////////////////////////////////////////////
OPB_SESSION:
WORKFLOW中的所有Session,记录了Session与Mapping的对应关系及Session相关的一
些基本属性
例如:SESSION_ID:11
MAPPING_ID:3
用途:查看Session与Mapping对应关系,通过关联得出Session名与Mapping名的对应
OPB_SESSION:
WORKFLOW
中的所有Session,记录了Session与Mapping的对应关系及Session相关的一
些基本属性
例如:SESSION_ID:11
MAPPING_ID:3
用途:查看Session与Mapping对应关系,通过关联得出Session名与Mapping名的对应

/////////////////////////////////////////////////////////////////////////////
OPB_SESSION_CONFIG:
记录了
WORKFLOW中所有Session的Config配置信息
例如:CONFIG_NAME:default_session_config
COMMENTS:Defaultsessionconfigurationobject

用途:查看当前系统中所有配置了的SessionConfig信息

/////////////////////////////////////////////////////////////////////////////
OPB_SESS_FILE_REF:
INFORMATICA抽取过程中的所有FlatFile与Session的相关关系定义
例如:SESSION_ID:682
FILE_ID:66
用途:查看整个系统中的FlatFile源的相关情况

/////////////////////////////////////////////////////////////////////////////
OPB_SESS_FILE_VALS:
系统中所有
FlatFile文件的具体情况,包括文件名、路径等
例如:SESSION_ID:1560
FILE_NAME:PTM_LU_CHILD.txt
DIR_NAME:$PMSourceFileDirPTM
用途:通过关联可以查看到Session相关的Flat文件名及其路径,以及查看系统所有相关Flat文件及统计

/////////////////////////////////////////////////////////////////////////////
OPB_SESS_TASK_LOG:
这是
INFORMATICA对于Session运行的所有日志的信息记录,并且记录下Session的出错情况。
例如:INSTANCE_ID:6
MAPPING_NAME:m_ASSET_SUB_ACCOUNT
LOG_FILE:C:ProgramFiles......s_ASSET_SUB_ACCOUNT.log
FIRST_ERROR_MSG:Noerrorsencountered.
用途:这是在查Session运行情况的最终要的表之一,可以最简便的得到Session是否运行正常及当初错时的首个错误简要信息,以及日志文件的位置

/////////////////////////////////////////////////////////////////////////////
OPB_SRC:
INFORMATICADESIGNER中所定义的所有源
例如:SRC_ID:12
SUBJ_ID:27
FILE_NAME:AM_EQP_ASSESS
SOURCE_NAME:AM_EQP_ASSESS
用途:通过Subj_Id的关联,可以查出每个Folder中所有定义了的源


/////////////////////////////////////////////////////////////////////////////
OPB_SRC_FLD:
INFORMATICA中源表的所有字段的定义
例如:FLDID:82
SRC_ID:12
SRC_NAME:FLAG_ID
用途:关联上表,得出该源表的所有字段,及其定义和相关属性值


/////////////////////////////////////////////////////////////////////////////
OPB_SRV_LOC_VARS:
INFORMATICA系统服务器配置中,所有的系统变量及变量的当前值
例如:VAR_ID:13
VAR_NAME:$PMRootDir
VAR_VALUE:D:ProgramFilesInformaticaPowerCenter7.1.1Server
用途:查看当前服务器的所有系统变量及其当前值

/////////////////////////////////////////////////////////////////////////////
OPB_SUBJECT:
INFORMATICA中所有主题定义,即所有Folder的定义及相关属性
例如:SUBJ_NAME:OAM
SUBJ_ID:2
GROUP_ID:3
用途:Folder的ID是其他很多表的外键,作为其他表的关联,可以查看该Folder下的所有相关对象信息

/////////////////////////////////////////////////////////////////////////////
OPB_SWIDGET_INST:
记录一个
Session中所用到的Mapping引用到的所有对象及其相关属性,即细到每个转化模块一条记录
例如:SESSION_ID:11
MAPPING_ID:3
INSTANCE_NAME:LKP_OTHER_CHECK11
PARTITION_TYPE:1
用途:查看每个Session所引用到的所有对象,及其当前的属性值

/////////////////////////////////////////////////////////////////////////////
OPB_SWIDGINST_LOG:
INFORMATICA运行后,所有运行了的Session中相关源及目标对象的运行日志,即运行的时间,抽取的数据成功条数等
例如:TASK_INSTANCE_ID:92
PARTITION_ID:1
PARTITION_NAME:Partition#1
WIDGET_NAME:SQ_SHIFT_CODE
APPLIED_ROWS:723
START_TIME:2004-11-48:48:12
END_TIME:2004-11-48:48:31
用途:这是INFORMATICA运行后,对每个对象的运行情况的最详细的日志记录,对于数据正确性的检查,性能的调优等有着很重要的参考价值

/////////////////////////////////////////////////////////////////////////////
OPB_SWIDG_GROUP:
在
INFORMATICADESIGNER中Union_Transformation模块上的所有Group的定义表
例如:SESSION_ID:1410
GROUP_NAME:PM_GROUP1
用途:该表单独记录了Union_Transformation模块上所有设置了的Group,可以通过关联查出一个Session上所有的UnionGroup定义

/////////////////////////////////////////////////////////////////////////////
OPB_TABLE_GROUP:
在
INFORMATICADESIGNER中RouterTransformation模块上的所有Group的定义表.
例如:OBJECT_ID:3409
ATTR_VALUE:FROM_ID='xx'
用途:该表单独记录了RouterTransformation模块上所有设置了的Group,以及Group的分组条件,可以通过关联查处出一个Mapping中Router的所有分组设置及其分组条件

/////////////////////////////////////////////////////////////////////////////
OPB_TARG:
在
INFORMATICADESIGNER中所有目标表的定义

/////////////////////////////////////////////////////////////////////////////
OPB_TABLE_GROUP:
在
INFORMATICADESIGNER中RouterTransformation模块上的所有Group的定义表.
例如:OBJECT_ID:3409
ATTR_VALUE:FROM_ID='xx'
用途:该表单独记录了RouterTransformation模块上所有设置了的Group,以及Group的分组条件,可以通过关联查处出一个Mapping中Router的所有分组设置及其分组条件

/////////////////////////////////////////////////////////////////////////////
OPB_TARG:
在
INFORMATICADESIGNER中所有目标表的定义
例如:TARGET_ID:3
SUBJ_ID:2
TARGET_NAME:HAM_DEPT
用途:该表存储了所有的目标表定义,通过关联可以查出某个Folder下所有的目标表定义

/////////////////////////////////////////////////////////////////////////////
OPB_TARGINDEX:
在
INFORMATICA中对目标表,可进行Index的定义,该表存储了所有目标表Index的定义
例如:TARGET_ID:1626
INDEXNAME:IDX_AUDIT

用途:查出所有在INFORMATICA中进行的Index定义,及相关目标表信息

/////////////////////////////////////////////////////////////////////////////
OPB_TARGINDEXFLD:
INFORMATICA中目标表上进行了Index定义的相关的所有字段
例如:INDEXID:6
FLDNAME:AREC_BILL_ID
用途:进行关联查出在INFORMATICA中进行了Index定义的表及其字段

/////////////////////////////////////////////////////////////////////////////
OPB_TARG_FLD:
INFORMATICA中所有目标表的字段信息
例如:TARGET_ID:131
TARGET_NAME:CHECK_PROPERTY
用途:查看目标表的所有字段信息,或给出字段名,查找该字段在那些目标表中出现过

/////////////////////////////////////////////////////////////////////////////
OPB_TASK:
WORKFLOW中所有Task的记录,包括Session,Worklet,WorkFlow等
例如:TASK_ID:1717
TASK_NAME:s_OAM_LOG_ARR
用途:该表是Workflow关于Task的记录的主表,通过关联可以查出某个folder下所包含的所有Workflow、Worklet、Task等,以及查出一个Workflow下的所有Task

/////////////////////////////////////////////////////////////////////////////
OPB_TASK_ATTR:
该表记录了
Task的所有属性值,每个属性一条记录
例如:ATTR_ID:2
ATTR_VALUE:s_AM_ASSET_TYPE.log

用途:查看相关Task的属性设置,查找系统中同一属性设置的所有Task

/////////////////////////////////////////////////////////////////////////////
OPB_TASK_INST:
Task实例表,与OPB_TASK表信息类似,但该表主要突出的是Workflow与Task的关系,而OPB_TASK表是Task的基表
例如:WORKFLOW_ID:9
INSTANCE_NAME:s_USED_KIND
用途:查找一个Workflow下的所有Task信息

/////////////////////////////////////////////////////////////////////////////
OPB_TASK_INST_RUN:
该表记录了所有
Task每次运行的日志信息,包括当前的运行起始时间,服务名等
例如:INSTANCE_NAME:s_ASSET_ACCOUNT
START_TIME:2004-11-315:20:01
END_TIME:2004-11-315:20:08
SERVER_NAME:ETL-SVR
用途:该表记录了Task每次运行的日志信息,其中关于时间的信息对于性能调优有着极其重要的作用,也可以观察同一个Task,一段时间的运行效果,评估服务器的运行情况等

/////////////////////////////////////////////////////////////////////////////
OPB_TASK_VAL_LIST:
该表记录了某些
Task中的属性值,例如CommandTask中的Command值
例如:TASK_ID:2990
PM_VALUE:DEL“D:FILE_LIST.TXT”
VAL_NAME:DELETE
用途:可以查看当前系统中设置的任务属性值,也可查看所有的Command的命令值

/////////////////////////////////////////////////////////////////////////////
OPB_USERS:
该表记录了
RepManager中所设置的所有用户,及其相关属性
例如:USER_ID:5
USER_NAME:DEMO
USER_PASSWD:hG63"4$7.`
USER_PRIVILEGES1:79
用途:可以查看系统中INFORMATICA所定义了的所有用户及相关属性

/////////////////////////////////////////////////////////////////////////////
OPB_USER_GROUPS:
该表记录了
RepManager中用户与组的关系
例如:USER_ID:2
GROUP_ID:3
用途:查看一个组中存在哪些用户,或关联出每个用户到底属于哪个组

/////////////////////////////////////////////////////////////////////////////
OPB_VALIDATE:

该表纪录Designer或WorkflowManager中设计开发时,所有Validate的信息

例如:OBJECT_ID:4

INV_COMMENTS:Replacedsource[V_RCT_CREDIT]duringimport.

用途:查看同一个对象的历史Validate信息,查看对象的修改历程

 

/////////////////////////////////////////////////////////////////////////////
OPB_VERSION_PROPS:

该表纪录了系统中各种对象的当前版本信息,最后的修改时间。包括最小到各个Mapping中的各个模块的当前版本信息。

/////////////////////////////////////////////////////////////////////////////
OPB_VALIDATE:
该表纪录
Designer或WorkflowManager中设计开发时,所有Validate的信息

例如:OBJECT_ID:4

INV_COMMENTS:Replacedsource[V_RCT_CREDIT]duringimport.

用途:查看同一个对象的历史Validate信息,查看对象的修改历程

/////////////////////////////////////////////////////////////////////////////
OPB_VERSION_PROPS:

该表纪录了系统中各种对象的当前版本信息,最后的修改时间。包括最小到各个Mapping中的各个模块的当前版本信息。

例如:OBJECT_ID:5

OBJECT_NAME:FLT_CLM_BDL

LAST_SAVED:08/20/200622:52:29

用途:查看系统中各模块对象的最后更改时间。

/////////////////////////////////////////////////////////////////////////////
OPB_WFLOW_VAR:

该表纪录了Workflow的中,各个系统变量的定义,是Workflow设计过程中,所有各模块间系统变量的设计纪录

例如:SUBJECT_ID:2

VAR_NAME:ErrorMsg

VAR_DESC:Errormessageforthistask'sexecution

LAST_SAVED:08/20/200622:38:41

用途:查看Workflow中相应的系统变量的设计

/////////////////////////////////////////////////////////////////////////////
OPB_WIDGET:

该表是所有Mapping中的所有转换模块的基础信息表,记录了每个转换模块的基础信息

例如:WIDGET_NAME:AGG_PIM_RES

WIDGET_TYPE:9

IS_REUSABLE:0

用途:可以与其他表进行关联,按条件查出需要各个基础的转换模块

/////////////////////////////////////////////////////////////////////////////
OPB_WIDGET_ATTR:

该表是OPB_WIDGET的子表,记录了每一个转换模块的各种属性值。一个模块的一个属性占一条记录。

例如:WIDGET_ID:2

WIDGET_TYPE:11

ATTR_VALUE:$PMCacheDir

用途:该表纪录了所有的转换模块的所有属性值,是在做某属性查找时非常有用的一个基础表,通过与其他表的关联即可得出同一设置的所有转换模块的信息

/////////////////////////////////////////////////////////////////////////////
OPB_WIDGET_FIELD:

该表纪录了各个转换模块中所有字段的定义

例如:WIDGET_ID:4

FIELD_NAME:IN_PL_CD

WGT_PREC:10

WGT_DATATYPE:12

用途:可以实现对某个字段名称的统计与查找

/////////////////////////////////////////////////////////////////////////////

OPB_WORKFLOW:

该表是Workflow定义的一个基表,记录下Workflow的关系信息

例如:WORKFLOW_ID:6

SERVER_ID:0

SCHEDULER_ID:3

用途:该表主要可以用于作关于Workflow的各种相关查找的关联表

/////////////////////////////////////////////////////////////////////////////
REP_DB_TYPES:

该表记录了INFA所支持的数据库的类型

例如:DATYPE_NUM:3
DATYPE_NAME:ORACLE
用途:该表是系统的一个基础代码表,用于显示INFA所支持的所有数据库类型

/////////////////////////////////////////////////////////////////////////////
REP_FLD_DATATYPE:
该表记录了INFA所支持的各种数据类型以及INFA所支持的各种数据库的数据类型
例如:DTYPE_NUM:3001
DTYPE_NAME:char
DTYPE_DATABASE:ORACLE
用途:该表是系统的一个基础代码表,用于显示INFA所支持的所有数据类型

/////////////////////////////////////////////////////////////////////////////
REP_SRC_KEY_TYPES:
该表记录了INFA在源定义中所设定的所有键值类型

例如:KEYTYPE_NUM:1

KEYTYPE_NAME:PRIMARYKEY

用途:该表是系统的一个基础代码表,用于显示INFA源设计中,所有支持的键值类型

/////////////////////////////////////////////////////////////////////////////
REP_TARG_KEY_TYPES:

该表记录了INFA在目标定义中所设定的所有键值类型

例如:KEYTYPE_NUM:2

KEYTYPE_NAME:FOREIGNKEY

用途:该表是系统的一个基础代码表,用于显示INFA目标设计中,所有支持的键值类型

/////////////////////////////////////////////////////////////////////////////
REP_TARG_TYPE:

该表记录了INFA的目标表类型

例如:TARGET_TYPE:1

TYPE_NAME:DIMENSION

用途:表是系统的一个基础代码表,用于显示INFA设计中,所有支持的目标表类型

 

大数据时代数据治理的核心框架与实践指南 数据治理作为大数据管理的基础设施,通过元数据管理、数据质量控制、主数据整合等技术手段,解决数据孤岛、质量低下等核心问题。其核心原理是建立数据标准化体系与全链路血缘追踪,技术价值体现在提升数据可信度、降低决策风险。典型应用场景包括实时数据流水线监控、AI训练数据管理、多云环境数据协同等。随着Hadoop/Spark生态普及,动态血缘追踪和AI驱动的自动化治理成为新趋势,Apache Atlas等工具可实现技术元数据与业务元数据的统一管理。在金融、电商等领域,有效的数据治理能使数据分析项目成功率提升2.7倍,每 阅读详情

相关推荐

【信息科学与工程学】【数据科学】数据科学领域-第十一篇 数据集成算法01

​​降低维护成本​​:通过抽象通用流程(如),当需要修改故障注入逻辑(如更换混沌工具)时,只需修改一处代码,无需修改所有测试用例;​​提升扩展性​​:通过参数化故障场景(如),可快速生成新的故障用例(如针对新服务的延迟故障),适应系统迭代需求;​​增强场景真实性​​:通过组合混沌操作(如),模拟真实生产环境中的复杂故障链(如“网络延迟+服务宕机”),更准确地验证系统韧性;​​提高分析效率​​:通过自动化结果分析(如),快速获取MTTR、错误率等关键指标,减少人工分析时间。

weixin_49199313的博客 953

informatica元数据库常用查询

使用时ETL_ODS_WIN应该换成自己的域名称。对于源与目标,目前获取的是建立表结构时给出的名称,实际跑任务时在配置中写入的目标表不知道怎么获取,有大佬知道的麻烦指点下。 -- mapping-->source_table SELECT distinct OPB_SUBJECT.SUBJ_ID folder_ID, OPB_SUBJECT.SUBJ_NAME folder_...

未来将会如何 1085

【信息科学与工程学】【数据科学】第一百五十五篇 数据集成与开发01

至此,我们已经完成了从接入层存储层处理层建模层编排层治理层可观测层到服务层的全部八个领域的详细设计表格。BPMN/UML 时序图、状态机、协作图(PlantUML 代码)深度数学建模(排队论、统计过程控制、机器学习异常检测等)逐步推理的数学表达式及数据结构参数关联矩阵(含默认值、单位、传递/互斥/联动/依赖关系)完整的编译器配置(Maven/pip/conda、JVM参数、环境变量)详细的代码示例(Java/Python/YAML/JSON/SQL)

weixin_49199313的博客 23

ETL工具之Informatica

这里写自定义目录标题Informatica简介PowerCenter功能简介全量接数/调度/监控增量接数/调度/监控 Informatica简介 Informatica平台是一套完善的技术,可支持多项复杂的企业级数据集成计划,包括:企业数据集成、大数据、数据质量控制、主数据管理、B2B Data Exchange、应用程序信息生命周期管理、复杂事件处理、超级消息和云数据集成。其下有众多产品,其中这...

Sunshine_Bloom的博客 1万+

infomatica 权威指南

此本书,是著名infomatica前任中国区技术总监杜绍森出版,内容通俗易懂,新人很容易就上手,满足一般开发者需求;

控制台模拟前端请求实现快速刷网课时长

本教程仅用于学习前端技术和网页开发,旨在提供教育与技术指导。对于任何未经授权或违反规定的使用行为,本人不承担任何责任。注意到那个serive后面有timestamp时间戳,暗示它很可能就是每30秒汇报一次进度和播放时长的命令,我们右键——复制——复制为fetch。有的网站上的网课需要的不仅仅是进度,而是时长,所以倍速插件失效,但我们可以使用控制台命令来模拟请求实现快速刷网课时长。尝试修改即可,例如我修改time为800,然后复制粘贴到控制台执行。播放视频,等待前端请求出现,然后复制前端请求为fetch。

m0_74823408的博客 2066

INFOMATICA 根据catalog中的Database alias查询Session名

根据catalog中的Database alias查询Session名 目录 根据catalog中的Database alias查询Session名 查询SQL: 说明: OPB_CNX:记录源、目标数据库连接的定义 Connection Object Definition 查询SQL: SELECT A.SUBJECT_AREA, --文件夹 A.SESSION_NAME, --Session名称 A.IS_TARGET --是否是目标 FROM REP_SESSION_CN

星空下的华尔兹 408

国内优秀MES开源框架

一套springboot 开源框架 代码标准规范化。 界面展示 演示地址 http://wangziyangmes.pzzd.xyz 用户名admin 密码123 系统管理 工艺管理 计划管理 物料管理 *用户管理* *工艺路线管理* 工单下达...

q707231019的博客 2万+

INFA9.6元数据

什么是元数据? 1、元数据是描述数据的数据(Data about Data)。 2、可理解为比一般意义的数据范畴更加广泛的数据,不再仅仅表示数据的类型、名称、值等信息,进一步提供了数据的上下文描述信息,比如数据的所属域、取值范围、数据间的关系、业务规则,甚至是数据的来源。 3、在分析型项目中,元数据可以帮助DW管理员和DW开发人员非常方便地找到他们所关心的数据 4、元数据是描述分析型应用内数据的...

qq_24388807的博客 563

使用 CFD 仿真进行阀门性能分析:第一部分

了解如何使用 Ansys Discovery 评估阀门性能,使工程师能够设计出更好的产品。

jkh920184196的博客 3145

2025年全国青少年信息素养大赛初赛真题(算法创意实践挑战赛C++初中组:文末附答案)

2025年全国青少年信息素养大赛初赛真题(算法创意实践挑战赛C++初中组:文末附答案)

王老师青少年编程 3396

Informatica 安装用户元数据解析

OPB_ATTR : INFORMATICA (Designer,Workflow等)设计时及服务器设置的所有属性项的名称,当前值及 该属性项的简要说明 例如: ATTR_NAME: Tracing Level ATTR_VALUE: 2 ATTR_COMMENT: Amount of detail in the session log 用途:可以通过该表快速查看到设计或设置时碰到的一...

yinwxiang 266

基于YOLOv10深度学习的花生种子霉变检测系统

YOLO(You Only Look Once)是当前最先进的目标检测算法之一,具有快速、精准的特性。YOLOv10是YOLO系列的最新版本,相较于之前的版本,YOLOv10在特征提取、模型精度和速度上都有了显著的提升。YOLOv10采用了更深的卷积神经网络、更多的跨层特征融合方法,使得其在不同尺寸物体的检测和复杂场景的处理上都表现出了优异的性能。YOLOv10特别适合应用在需要快速处理并检测大量图像的任务中,如花生种子霉变检测等,能够实现精准、高效的检测。

2201_76125393的博客 648

informatica介绍

一、总体概述ETL包括Extract、Transform、Cleaning和Load,它是用于从生产库中提取数据到数据仓库中,再由具体的报表、统计、分析工具对数据仓库的内容进行分析,分析出自己所需要的数据。其中ETL培训的内容是如何利用Informatic PowerCenter把源数据库的内容提取存放到目标数据库中。主要Informatic主要包括四个部分:Client,Reposit...

596

SQL面试题——最大连续登陆问题

最大连续登陆是我们计算比较常用的指标,我们可以将其当成一个经典的SQL模型,后面我们也会陆续总结出其他的模型,你还知道其他的比较经典的SQL 吗?欢迎分享,或者你还知道其他的关于计算连续的指标?最大连续登陆重要的是计算思想,最大连续才是关键,登陆只是一个场景,要学会举一反三。

9012

【YOLO26保姆级零踩坑教程】环境搭建+五大任务快速入门,一行代码实现检测/分割/姿态/OBB/分类(Win+Linux全适配)

YOLO26环境搭建与实战指南:零踩坑全适配 本文是YOLO26全栈技术专栏的入门篇,提供Windows/Linux双系统的纯实战环境搭建指南,主打零踩坑、全适配。YOLO26基于Ultralytics框架优化,无需编译源码或手动下载权重,原生支持多任务推理。 环境配置关键点: 必须安装Ultralytics 8.4.0及以上版本 支持CPU/GPU环境,推荐Python 3.8-3.11 提供清华源配置解决下载慢问题 安装步骤: CPU版:一键安装Ultralytics和OpenCV GPU版:匹配CUD

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 774

粤磊 informatica powercenter学习笔记(十四)_上

INFORMATICA 的元数据管理之一 知识库中元数据对象表的使用 大家都知道,在创建INFA的时候会让你选择指定的数据库做为存储元数据用,那存储的元数据对我们的ETL有什么作用呢? 下...

cjj39580的博客 237

循环神经网络(RNN)原理及BPTT算法

因循环神经网络基于ANN之上,理解ANN有助于理解RNN,所以阅读此文,建议先阅读。

L 1768

informatica 配置

概述 infomatica是一款常用的etl工具 它包括designer(表及表关系)、flowWork(数据同步相关配置)、monitor(启动程序监控)、repository(数据仓库)四部分 我的理解:informatica是一个多个数据库之间数据同步的工具, 本人是从oracle同步到mysql数据库,故此后的例子都是与此相关的,仅做参考 前言: 首先必须要有一个etl账户,

ChangLu0的博客 2187

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

informatica元数据详解

(一)Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。Informatica通过表和视图给我们提供着所有的信息,在此将通过一个系列的帖子,将大部分常见的,且非常有用的表及视图介绍一下。基于...

920

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Informatica 修改资料库运行模式命令

命令方式修改RepositoryService的操作模式 exclusive模式为需要删除、创建、恢复资料库时使用,日常运行则为normal模式 su - infa cd $INFA_HOME/server/bin --运行模式修改为普通 ./infacmd.sh updateRepositoryService -DomainName Domain_pmca17s -Us

4196

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 关于用外部程序调用Informatica Workflow的方法
下一篇: Informatica中Sequence Generator的两个有用的选项
suncrafted
博客等级 码龄24年 103粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值