- 博客(115)
- 收藏
- 关注
RSS订阅原创 数据仓库元数据管理
元数据管理, 简单的做就是EXCEL结合版本管理等传统工具管理,专业点就用专门的元数据管理工具;数据字典-->数据知识库业务元数据，技术元数据，管理元数据参照：SAP元数据管理平台：按业务（角色）分类，按技术类型分类（特征，关键值，DSO,InfoCube），数据流程图 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据
2013-08-26 09:40:51
1253
原创 维表的设计方法
多维模型中的维表包含用来描述事实表中行记录的属性。维表的属性一些提供描述性信息，其他的属性可以规定事实表数据的汇总方法并帮助分析师来理解汇总的数据。维表还包含属性的层次结构来对数据进行分层汇总。维表一般较小，一些代码表经非正规化处理后重复保存在维表中来避免需要关联多个维表和代码表来提高信息查询的性能。根据IBM多维模型设计方法和生命周期，维表的设计要经过以下的步骤：1. 确定
2013-08-26 09:28:24
1483
原创 Datastage性能优化
State的拆分与合并：如两个JOIN的stage都为大数量(几百万)且主表是一样的则考虑合并。如一个stage中的两个表都为大表且关联很慢时考虑拆分为两个stage作Join。 Copy Stage在内存中操作的组件，建议1进多出用copy组件Tansformer Stage是内嵌的程序，一旦作业执行到此stage程序会暂停进程，外部调用so的程序，Trans
2013-08-23 14:20:38
1006
原创 Datastage常用stage
Join: 数据集内连接，外连接（Left,Rigth）Lookup: 数据字典关联，左关联Transform : 数据计算，通过利用系统函数和表达式进行数据列计算转换，输入输出Mapping；数据分流，定义constraints数据分流、过滤。条件表达式：相当于自定义函数 Aggregator 汇总Copy 一个数据集复制为多个数据集Filter 一个数据集不同过
2013-08-23 11:27:48
1822
原创 数据仓库构建步骤
构建企业级数据仓库五步法:一、确定主题 即确定数据分析或前端展现的主题(例:某年某月某地区的啤酒销售情况)。主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系,确定主题时要综合考虑.二、确定量度 KPI 确定主题后，需要考虑分析的技术指标(例:年销售额等等)。它们一般为数据值型数据，其中有些度量值不可以汇总；些可以汇总起来，以便为分析者提供有用的信息。量度是
2013-08-22 17:42:12
1171
原创 Datastage 分区partition
随机分区和Same分区和完全分区随机（Random）分区是DataStage的分区方法之一。随机分区是这样操作的：DataStage将输入数据随机地分配到所有节点上。与循环分区类似，随机方法所产生的分区，各个节点上处理的数据也都大致相等。但与循环分区相比，随机分区需要的系统资源开销要大，因为这种方法在分区时，要为每条记录都生成一个随机值。相对循环分区来讲，开销自然要大。Same分区
2013-08-20 15:16:30
653
原创 oracle 列转行 LISTAGG和WM_CONCAT .
WMSYS.WM_CONCAT: 依赖WMSYS 用户，不同oracle环境时可能用不了，返回类型为CLOB，可用substr截取长度后to_char转化为字符类型LISTAGG : 11g2才提供的函数，不支持distinct,拼接长度不能大于4000,函数返回为varchar2类型，最大长度为4000. with temp as( select 'China' nat
2013-08-20 14:18:32
1303
原创 数据库三范式
数据库设计的三范式： 范式：数据库设计时的一些规则。而这些规则是由一个姓范的人规定的，所以叫范式 三范式设计的规则： 三范式所追寻的原则是：不存在冗余数据(同样的数据我不存第二遍) 第一范式的要求：1.要有主键(设计任何表都要有主键) 2.列不可分第二范式的要求：当一张表里面有多个字段作为主键的时候，非主键的这些字段，不能依赖于部分主键 (只能依赖整个组
2013-08-20 11:50:55
422
原创 2013-2013
逻辑架构：ODS-->DM-->EDW工具技术选型：DB,ETL,BI,OLAP建模步骤/生命周期：建模方法：3NF 第三范式，Snowflake雪花模式（SAP BW采用），Star星型模式（推荐），molap cube 多维信息立方体...
2013-03-13 20:51:51
163
原创 维度表设计原则
· 每个维表必须有而且只有一个最明细层作为该维表的颗粒度。· 任何一个维表若被多个事实表使用，该维表应作为公共维表来设计。· 除非出于性能考虑，否则每一个非键属性应只出现在一张维表里。· 需要记录属性变化的维的主键应该是使用代理键，并使用具有业务含义，业务用户可识别的代码作为自然键。业务系统自带的代理键不能做为维表的主键...
2013-03-06 16:59:57
872
原创 维表的设计方法
多维模型中的维表包含用来描述事实表中行记录的属性。维表的属性一些提供描述性信息，其他的属性可以规定事实表数据的汇总方法并帮助分析师来理解汇总的数据。维表还包含属性的层次结构来对数据进行分层汇总。维表一般较小，一些代码表经非正规化处理后重复保存在维表中来避免需要关联多个维表和代码表来提高信息查询的性能。根据IBM多维模型设计方法和生命周期，维表的设计要经过以下的步骤：1. 确定...
2013-03-06 16:55:46
391
原创 to_study
TO Study: ETL/报表工具：datastage、infomatic，bo，biee ,调度工具：Moia DW建模设计：建模(事实表/维度表),erwin建模工具： 好的模型评价标准 ？？，IBM多维模型设计方法和生命周期，模型验证方法 原数据管理 oracle: 分区/表空间，优化业务：供应链，银行信用卡/CRM...
2013-03-05 15:53:52
155
原创 20130228
DW-R的模型框架和建模思路R&A是IFS核心项目之一，其目标是采用先进的数据仓库和商务智能理念、技术和方法，建立华为企业级的财经数据仓库，支持集团公司的财务报告和经营分析需求。R&A的主要业务目标为：· 完整地获取资产、负债、权益和损益财经数据，支持集团内外部的财经报告与与分析需求· 拉通财务指标和业务交易数据，扩展财经数据分析...
2013-03-01 11:38:22
137
原创 myself
http://bbs.youkuaiyun.com/topics/390349305 ETL工具大全 https://imailcn.huawei.com/owa 华为外网邮箱地址http://w3.huawei.com 华为内部门户网站 班车：上班车：125，125-1 东方半岛7:30下班车：225 6:30 9:30休息日：117 07:00...
2013-01-24 19:10:51
133
原创 SAP BI 基本概念
SAP BI基本概念SAP BI基本概念基本概念数据仓库基本理论数据仓库是体系结构化环境的核心，是决策支持系统（DSS）处理的基础；它的概念提出者、美国著名信息工程专家 William Inmon 博士在90年代初提出了数据仓库的一个表述。他认为：“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的用来支持管理人员决策的数据集合。”主题，是...
2011-11-23 12:11:01
213
原创 转贴-SAP BW顾问如何保持市场竞争力
转贴-SAP BW顾问如何保持市场竞争力？跟大部分电工一样，SAP顾问也经常有迷茫的时候。因为，这个世界变化实在太快了。每一个电工，总是在担心自己会不会被飞速发展的技术所淘汰。那么，作为 一个BW顾问，应该如何保持市场竞争力呢？我觉得需要两个方面的努力：其一是不断更新自己的技术组合以适应职业发展的需要。其二是构建一个围绕你职业发展 的社交网络以让你经常能够获得一些机会。社交网络的建设对任何一个...
2011-11-21 23:04:27
153
原创 概念：DW 与 BI
DW和BI的概念比较容易混淆，下面就结合自己的认识进行简单的描述： 数据仓库：DW---Data Warehouse 侧重于信息的整合、数据准备，包括数据迁移、组织、存取等后台工作。数据仓库的一个目的就是把企业的信息访问基础从一种非结构化的或发展中的环境改变成一种结构化或规划良好的环境。按照W.H.Inmon 这位数据仓库权威的说法，“数据仓库是一个面向主题的、集...
2011-11-21 22:53:05
549
原创 概念：ODS
概念 ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。 作用 一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用： 在业务系统和数据仓库之间形成一个隔离层 一般的数据仓库应用系统都具有非常复杂的...
2011-11-21 22:31:24
165
原创 OLAP OLTP
OLTP即联机事务处理，就是我们经常说的关系数据库，意即记录即时的增、删、改、查，就是我们经常应用的东西，这是数据库的基础； OLAP即联机分析处理，是数据仓库的核心部心，所谓数据仓库是对于大量已经由OLTP形成的数据的一种分析型的数据库，用于处理商业智能、决策支持等重要的决策信息；数据仓库是在数据库应用到一定程序之后而对历史数据的加工与分析；是处理两种不同用途的工具而已.参考：htt...
2011-11-21 22:13:21
106
原创 hibernate缓存机制
Hibernate缓存机制 缓存是介于应用程序和物理数据源之间，其作用是为了降低应用程序对物理数据源访问的频次，从而提高了应用的运行性能。缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。 缓存的介质一般是内存，所以读写速度很快。但如果缓存中存放的数据量非常大时，也会用硬盘作为缓存介质。缓存的实现不仅仅要考虑存储...
2010-10-27 22:06:52
90
原创 hibernate优缺点
下面就Hibernate优缺点分别进行简单的阐述。1.Hibernate优点：（1）对象/关系数据库映射(Basic O/R Mapping)它使用时只需要操纵对象，使开发更对象化，抛弃了数据库中心的思想，完全的面向对象思想。（2）透明持久化(Persistent) 带有持久化状态的、具有业务功能的单线程对象，此对象生存期很短。这些对象可能是普通的JavaBeans/POJO，...
2010-10-27 21:05:04
82
原创 Hibernate性能优化要点
Hibernate性能优化要点 1.尽量使用many-to-one，避免使用单项one-to-many2.灵活使用单向one-to-many3.不用一对一，使用多对一代替一对一4.配置对象缓存，不使用集合缓存5.一对多使用Bag 多对一使用Set6.继承使用显示多态 HQL:from object polymorphism="exlicit" 避免查处所有对象7.消除大表，使用二级缓存...
2010-10-26 21:21:26
100
原创 查看CLASS的jdk版本
使用 UE 打开 class 文件，第一行内容： 00000000h: CA FE BA BE 00 00 00 32 00 A9 07 00 02 01 00 37 ; 漱壕...2.?....7 前四个字节为固定的 CA FE BA BE ，接下来的四个字节为次版本号（0000）和主版本号（00032）。 32：JDK1.6 31：JDK1.5 30：JDK1.4 2F：JDK1.3 ...
2010-09-02 22:13:21
114
原创 项目描述之ODS（二）
运作数据存储ODS（Operational Data Store），ODS系统是面向主题的、集成的、可变的、数据是最新的或是接近最新的、细节的5个基本特征；是基于某个主题相关一组数据的集合，而不局限在某个应用系统，从业务关联的角度看数据，而不是基于传统的应用角度看数据。 数据采集(ETL)设计原则1.基于现有技术，优先采用DataStage作为数据采集工具；2.使用DataStage...
2010-06-08 11:44:15
249
原创 项目描述之ODS
计划3－5年创建一个较完善的ODS系统，第一期建设先选取2个主数据（BOM&ITEM、HR员工基本信息和部门基本信息）和Order ODS，快速见效积累经验，指导后续建设；Order ODS以优先满足一线需求为主，并结合欧洲地区部PO-TOOLS项目进行。主要遵循以下原则： ODS是一个数据集中池，数据从各可信源系统抓取到ODS，原则上不做复杂逻辑的数据转换，但可做简单的数据转换（例如：...
2010-06-08 11:13:47
314
原创 教材文档归总
好教材资料汇总：Spring揭秘 pdf构建高性能Web站点 pdfOSGi原理与最佳实践 pdfLucene_3.0_原理与代码分析 pdfJIRA用户指南 pdf --javaeye下载大话设计模式 pdfinfo架构师CDN与Web网站性能优化应用实践 pptoracle sql性能优化软件需求 pdf人月神话 pdfStruts2 讲义 doc --javaeye下载proj...
2010-06-07 15:03:05
141
原创 datastage
DataStage Client永久License信息： Serial No. Description Release Auth Code Count Type Expire date 60806-DSDES DataStage Client 7.5.1 ez9VQBXSQIW 999 U ...
2010-06-03 22:32:59
165
原创 学习安排
J2EE相关知识温习 PMP考试准备 spring3,lucene3源代码分析linuxweb网站高性能构建 1，深入理解Spring特性 -- 《Spring技术内幕》2，RUP,敏捷开发，设计模式3，互联网营销4,项目管理工具：Jira， project，ITIL 数据仓库DW:ETL工具：Datastage,电子书《d...
2010-06-03 16:57:14
113
原创 项目描述之开发工具
DW/BI平台 涉及技术分类：BO（报表），Datastage(ETL)，PL/SQL,Oracle Hyperion EPM产品，OBIEEDW数据仓库：ETL工具：Datastage,CDC（Changed Data Capture），tibco 涉及系统CPP=Contract Processing Platform 合同处理平台HTM=Huawei Transpor...
2010-06-03 15:38:33
180
原创 项目管理之心得体会
团队管理：1，对下属要承诺多兑现：承诺太多而兑现太少 则给员工欺骗的感觉，使失去信任。2，要责任明确，不要把自己的任务 下放给下属去处理，如：工作量的评估确认 让开发人员自己估计 肯定是不准确的。3，自己有较广阔的知识，较丰富的人生体验（不是指工作本身经验），这样可使下属员工更信服于你。4，多激励员工，使员工感觉自己在成长，在进步。（技能，处事方法等）。能让其感觉到通过自身的努力是...
2010-06-01 17:12:36
180
原创 开源软件推荐
建站软件CMS：Drupal ：社区软件 Joomla：内容管理系统 数据来源：http://opensource.youkuaiyun.com
2010-05-27 09:37:31
81
原创 培训招生方式
1，百度推广：选择好合适的关键字，网站首页内容具有一定的吸引力，促使搜索进来的用户可有效率的做出决定。2，加入项目管理Q群 发招生信息：最好群邮件方式。3，老师在网上发布的视频或论文 附带给公司作广告。4，采用佣金制度： a，对已参加过培训或已考试通过的同学们发邮件、电话， 提供： 推荐他人报名成功后回报一定的佣金； b，对大企业里报名的...
2010-05-26 15:37:00
130
原创 项目描述-PO打通
PO打通项目是公司级的变革项目，它是对IFS OTC业务方案的IT实现，该项目下有PO源头管理、ISC打通、GTS打通、PO源头的iCoding、Trigger 、Billing Generation等子项目。项目规模非常大。项目的业务范围涉及合同注册、ISC领域、GTS领域、Billing等业务，涉及业务范围广，并且需要从合同签订到开票的端到端拉通来看。项目的业务方案正在IFS OTC的试点推行...
2010-05-24 15:22:07
345
原创 项目描述-交付项目编码
目的：通过在“交付进度信息传递、工时申报、费用报销、分包合作采购”等业务活动中使用编码，项目交付过程产生的财务数据（收入、成本）能够满足公司多维度（合同、项目、客户、区域、子公司、产品、BU）的管理核算需求；这样可在项目核算时把项目成本摊进部门。Project、Sub project称为项目编码，Task、Site是合同或者PO包含的交付任务。合同属于某项目编码Project 基于交付业务管理的需...
2010-05-24 11:59:27
662
原创 项目描述-关键术语
ODS（Operational Data Store），运作数据存储ETL（Extract，Transform，Load），抽取转换装载DataStage，IBM的ETL工具CDC（Changed Data Capture），变化数据捕获POD:到货签收文档：已签收到货PAC:到货初验文档FAC:到货终验文档CRD:客户要求到货时间 CFS：Contract Fulfillment S...
2010-05-24 11:49:40
387
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人