m0_61059815的博客

顾名思义，固化查询是固定下里的定期需要的查询需求，这种就是我们的做出来的表，即席查询相对于固化查询，他是偶发性的需求，业务方今天说想看xxx的数，那就直接给他取数，这种就是即席查询。是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，典型的是银行 ATM 存取款,金融证券方面的实时更新等，这些操作都比较简单，主要是对数据库中的数据进行 DML 操作，操作主体一般是产品的用户，并且 OLTP 事务性非常高，一般都是高可用的在线系统，如上述的银行金融方面。按照多维进行的切片成为切块。

核心做三件事1 数据采集：把业务数据转移到hadoop2 数据计算、存储 ：3 数据应用：把hadoop上数据转移到业务系统。

自动化完成任务的定时执行。解决任务单元间的依赖关系。

OLAP OLTP对定义 以及常见的模型

数据仓库架构图在分层和命名大同小异。

ODBC简介开放数据库连接（OpenDatabaseConnectivity，ODBC）是为解决异构数据库间的数据共享而产生的，现已成为WOSA(TheWindowsOpenSystemArchitecture(Windows开放系统体系结构))的主要部分和基于Windows环境的一种数据库访问接口标准。odbc可以将其用于任何语言，如C，C++等本地语言开发的ODBC驱动程序，仅可以选择在Windows平台上使用。1.jdbc因为是java用来连接数据库的，所以是面向对象的。...

1Oracle节点之间共享磁盘资源优点很常见，学习资料广泛，运维方便。缺点单个集群支持100左右节点，适合数据量小的场景2DB2集群版本DPF-IBM商业数据库，与IBM硬件兼容好，一般伴随商业选增中被企业使用；一体机形式销售自带数据引擎和查询工具，性能优秀，稳定易用，是大型企业商业数仓选型开源产品，性价比高。.........

由单机数据库发展而来的，由关系型数据库组成MPP（大规模并行处理） 集群将一张大表拆分到各个节点进行存储，分库分表存储（哈希）在数据量较小时，具备优越的性能、数据量一旦达到一定量级后，就有局限性了。缺点： 1）扩展性有限 ，2） 热点问题（数据倾斜）--可以通过数据加盐的方式解决依托大数据技术，利用大数据天然的扩展性，完成海量数据的存放。将SQL转换为大数据计算引擎任务，完成数据分析 。 并发计算 优点 ： 可拓展，分布式文件系统拆分存储 ，计算时还原文件为原始表结构 ；安全性 ： 更安全缺点： 1 SQL

数据仓库（data warehouse ，DW）数仓是面向主题的集成的非易失的且随时间变化的数据集合。主要用于组织积累的历史数据，并使用分析方法（OLAP，数据分析） 进行分析整理，进而辅助决策，为管理者，企业提供数据支持，构建商业智能。1 面向主题： 根据主题将原始数据集合在一起。2 集成 原始数据源不用，需要经过ETL转化（清洗， 统一标准 ）3 非易失 ： 不允许被修改，只允许查询、分析 4 时变性：数仓会定期接受。集成新的数据， 从而反映数据的最新变化。数据库面向事物设计，属于OLTP系统，主要操