
数据仓库
oO寒枫Oo
专注spark hadoop mysql
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
数据仓库--什么是数据集市
首先,数据集市中存储了由数据仓库来的,经过裁剪和归整的数据,这些数据针对某个业务部门或某种业务分析主题而建立。在数据集市中,数据在某种程度上都进行了各种层次的汇总,并建立了多维分析模型,同时也会有数据采样。数据集市中的数据一般由ETL统一调度数据归整模块来实现从数据仓库到数据集市。其次,数据仓库收集了整个组织的主题信息,它是企业范围的。数据集市是数据仓库的一个部门子集,它聚焦在选定的主题上转载 2012-01-10 19:14:05 · 1278 阅读 · 0 评论 -
数据仓库,数据挖掘,OLAP,BI等系统技术深度建设
先看一下商业智能技术的纵向发展5个步骤图,如下: 第一步 报表、查询、统计(回答“发生了什么”)报表、查询、统计是多年以来IT技术辅助企业管理决策最常用的技术应用模式。商业智能技术首先覆盖这种成熟应用模式的所有功能,让企业管理决策者的思维习惯和应用模式可以平滑地进行过渡,同时必须在报表、查询、统计方面体现出比传统技术和应用更加强大的特点和功能,比如让用户自己去做一些复杂的自定义查询,让企业转载 2012-01-10 19:16:56 · 1572 阅读 · 0 评论 -
DBID,SID,DB_NAME,DB_DOMAIN,INSTANCE_NAME,DB_UNIQUE_NAME,SERVICE_NAMES 及监听参数的说明
这篇文章中要讲的几个参数: DB 相关的: DBID, SID PFILE中的参数:DB_NAME,DB_DOMAIN, INSTANCE_NAME, DB_UNIQUE_NAME,SERVICE_NAMES, GLOBAL_NAME,GLOBAL_转载 2012-01-11 10:05:14 · 1244 阅读 · 0 评论 -
BULK COLLECT、FORALL和INSERT ALL的综合运用案例
最近参与一个BI项目,在将ODS区中数据分流适配到F明细区中时,运用到了BULK COLLECT、FORALL和INSERT ALL用来提高性能。关键语句如下:最近参与一个BI项目,在将ODS区中数据分流适配到F明细区中时,运用到了BULK COLLECT、FORALL和INSERT ALL用来提高性能。关键语句如下:select PLATFORMID,PRODUCTID,IP,DEA转载 2012-01-10 19:15:08 · 1255 阅读 · 0 评论 -
数据预处理的形式
1、数据清理2、数据集成3、数据变换4、数据归约转载 2012-01-10 19:15:42 · 718 阅读 · 0 评论 -
数据仓库中的三种数据库模型
在数据仓库中有三种数据库模式,分别如下:星型模式:1个事实表+1组维表,维表围绕事实表(中心表)显示在射线上;雪花模式:是星型模式的变种,其中某些维表将数据进一步分解到附加的维表中,以便减少冗余,但对系统的性能有一定的影响;事实星座模式:多个事实表共享维表,可看作星型模式集。转载 2012-01-10 19:16:04 · 2733 阅读 · 0 评论 -
移动电信数据仓库设计六环节
环节一:异种数据源集成 企业在经营分析与决策支持系统的建设时,必须将遗留系统(Legacy System)进行高效全面的集成。由于遗留系统是在企业发展的不同时期建设的,往往缺乏全局规划,所以拥有不同的操作系统、不同的数据库、不同的网络通信机制等,形成了所谓的“信息孤岛”。系统中采用异种数据源企业应用集成接口,来实现对异种数据源的透明访问,包括数据源元数据访问及业务操作数据访问。数据源分转载 2012-01-10 19:17:27 · 1813 阅读 · 0 评论 -
数据库维度表和事实表
事实表每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据,如现金登记事务所产生的数据,事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据(事实),并且这些数字信息可以汇总,以提供有关单位作为历史的数据,每个事实数据表包含一个由多个部分组成的索引,该索引包含作为外键的相关性纬度表的主键,而维度表包含事实记录的特性。事实数据表不应该包含描述性的信息,也不应该包原创 2012-09-24 11:18:40 · 2747 阅读 · 1 评论 -
spark编译失败 PermGen space
最近 spark2.0 出来了 mvn 编译了下 :报错:[ERROR] PermGen space -> [Help 1][ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.[ERROR] Re-run Maven using the -X原创 2016-08-01 19:23:52 · 1514 阅读 · 0 评论