文章目录
1、背景
数据仓库,是一个面向主题的、集成的、随时间变化的、信息本身相对稳定的数据集合。
数据仓库从Oracle(单机、RAC),到MPP(Green plum),到Hadoop(Hive、Tez、Sprak),再到批流一体Flink/Blink、数据湖等,SQL都是其主流的数据处理工具。
海量数据下的高效数据流转,是数据分析朋友们必须直面的一个挑战。本文结合阿里自研的ODPS平台,从自身工作出发,总结日常使用过程中的SQL的一些日期、字符、数学运算、聚合函数函数使用技巧。
2、 数据处理
2.1、OLTP与OLAP概念
数据处理大致可以分成两大类:
联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line
Analytical Processing)。
- OLTP是我们最为常见传统的关系型数据库的主要应用,它主要用于基本的、日常的事务处理,例如银行交易。
- OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决