
数据仓库
文章平均质量分 66
李孟聊人工智能
独立开发,Substack和Medium顶级编辑
展开
-
数据仓库系列--维度
一.简介 在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。 当所有维表都直接连接到“ 事实表”上时,整个图解就像星星一样,故将该模型称为星型模型,星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,所以数据有...原创 2018-04-22 18:00:25 · 948 阅读 · 0 评论 -
oracle和mysql区别及相关知识补充
并发性是oltp数据库最重要的特性,但并发涉及到资源的获取、共享与锁定。On-Line Transaction Processing联机事务处理过程(OLTP) 简介:最大优点是可以即时地处理输入的数据,及时地回答。也称为实时系统(Real time System)。 OLTP是由前台、应用、数据库共同完成的,处理快慢以及处理程度取决于数据库引擎、服务器、应用引擎。...原创 2016-05-26 10:05:45 · 888 阅读 · 0 评论 -
oracle dmp导入
impdp test2/test2 directory=DBTEMP remap_schema=ics:test2 dumpfile=ICS2016-08-11.DMP logfile=imp_ics'%TE:~0,4%-'%TE:~5,2%-'%TE:~8,2%.log去除’ drop user ice cascade;create user ice identified by ...原创 2016-10-19 19:45:35 · 592 阅读 · 0 评论 -
找回Oracle中system,sys用户的密码
在本机状态下1、win键+R键,输入cmd,打开命令提示符。2、输入:sqlplus /nolog3、输入conn /as sysdba4、输入alter user system identified by 新密码; alter user sys identified by 新密码; ...原创 2017-03-28 18:38:24 · 1150 阅读 · 0 评论 -
互联网公司为啥不使用mysql分区表?
缘起:有个朋友问我分区表在58的应用,我回答不出来,在我印象中,百度、58都没有听说有分区表相关的应用,业内进行一些技术交流的时候也更多的是自己分库分表,而不是使用分区表。于是去网上查了一下,并询问了58到家的DBA专家,将自己收到的信息沉淀下来,share给大伙。 解决什么问题?回答:当mysql单表的数据库过大时,数据库的访问速度会下降,“数据量大”问题的常见解决方案是“水平切分”...原创 2016-10-31 09:46:44 · 1103 阅读 · 0 评论 -
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was 
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) ...原创 2017-03-25 18:01:18 · 1313 阅读 · 0 评论 -
Oracle提示错误消息ORA-28001: the password has expired
这个问题是由于Oracle 11G的新特性所致, Oracle 11G创建用户时缺省密码过期限制是180天, 如果超过180天用户密码未做修改则该用户无法登录。可通过SELECT * FROM dba_profiles WHERE profile='DEFAULT' AND resource_name='PASSWORD_LIFE_TIME'语句查询密码的有效期设置,LIMIT字段是密码有效天数。...原创 2017-02-21 16:35:33 · 691 阅读 · 0 评论 -
oracle 脚本导入导出
导入:imp ics/ics@localhost:1521/orcl file=F:\ics.dmp full = y 导出:数据导出: 1 将数据库TEST完全导出,用户名system 密码manager, 实例名TEST 导出到D:\daochu.dmp中 exp system/manager@TEST file=d:\daochu.dmp full=y 远...原创 2017-02-22 17:27:07 · 1077 阅读 · 0 评论 -
PL/SQL Developer配置
一. 目录结构 D:\install\PLSQL |-- instantclient_11_2 |-- tnsnames.ora |-- PLSQL Developer |-- readme.txt 二. 环境变量 NLS_LANG = SIMPLIFIED CHINESE_CH...原创 2017-03-28 13:23:00 · 1122 阅读 · 0 评论 -
重新编译mondrian
mondrian.rolap:class RolapConnectionPool{...... private synchronized ObjectPool getPool(Object key, ConnectionFactory connectionFactory) {ObjectPool connectionPool = (ObjectPool)this.mapConn...原创 2017-04-11 10:38:51 · 1118 阅读 · 0 评论 -
数据仓库系列--元数据
一.元数据一.元数据的定义 数据仓库的元数据是关于数据仓库中数据的数据。它的作用类似于数据库管理系统的数据字典,保存了逻辑数据结构、文件、地址和索引等信息。广义上讲,在数据仓库中,元数据描述了数据仓库内数据的结构和建立方法的数据。 元数据是数据仓库管理系统的重要组成部分,元数据管理器是企业级数据仓库中的关键组件,贯穿数据仓库构建的整个过程,直接影响着数据仓库的构...原创 2018-04-15 20:35:09 · 3012 阅读 · 0 评论 -
数据仓库系列--简介
打算做数据仓库系列,可能会时间上跨度很大,毕竟现在项目比较繁忙。一.数据仓库定义数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。二.特点1.面向主题 与传统数据库...原创 2018-04-15 19:29:02 · 762 阅读 · 0 评论 -
数据仓库系列--维度表技术
维度表技术常见:增加列,维度子集,角色扮演维度,层次维度,退化维度,杂项维度,维度合并,分段维度等基本维度表技术。 一.增加列事实表和维度表上增加列。Hive上增加列,慎用alter table。原因老版本的hive对ORC格式表的模式修改,尤其是增加列的支持存在很多问题。JIRA上说2.0.0修复了ORC表模式修改问题。空值处理:<=> 二.维度子...原创 2018-06-19 03:46:53 · 2656 阅读 · 0 评论 -
数据仓库系列--架构
数据仓库标准上可以分为四层:ODS(临时存储层)、PDW(数据仓库层)、DM(数据集市层)、APP(应用层)。DWBI常见体系架构 ODS层:为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。一般来说ODS层的数据和源系统的数据是同构的,主要目的是简化后续数据加工处理的工作。从数据粒度上来说ODS层的数据粒度是最细的。ODS层的表通常包括两类,一个用于存储当前需要加载...原创 2018-04-15 19:48:33 · 1637 阅读 · 0 评论 -
数据仓库系列--建模
一.数据仓库的数据模型1.系统记录域(System of Record):这部分是主要的数据仓库业务数据存储区,数据模型在这里保证了数据的一致性。 2.内部管理域(Housekeeping):这部分主要存储数据仓库用于内部管理的元数据,数据模型在这里能够帮助进行统一的元数据的管理。 3.汇总域(Summary of Area):这部分数据来自于系统记录域的汇总,数据模型在这里保...原创 2018-04-17 10:43:24 · 1024 阅读 · 0 评论 -
oracle(1)基础总结
以scott用户下的表emp为例 --------------------------------------------------------------------------------------------------------where查询emp表的不重复的工作select distinct job from emp 查询工资不等于1500的员工【!=或&l...原创 2016-05-24 17:42:48 · 817 阅读 · 0 评论