杂乱数据点滴笔记

DSS (全称Decision Support System)商业智能决策支持系统

OLTP (全称Online Transaction Processing )在线事务处理系统（主要特征单一、静态、小、当前时间、前端用户、不支持历史访问、不支持批量）

DWH (全称Data Warehouse )数据仓库，必须有能处理几百万条的能力（主要特征多个、动态、大、分析&决策）

ODS (全称Operational Data  Store) 业务数据存储系统

CRM 客户关系关系

Kettle \InformaticaPowercenter\ SQL Server Information Services 数据挖掘软件

数据仓库是单一的、大量（历史性），可用来支持企业决策

数据集市可以由终端用户直接访问，以特定的数据分析为目的的。

前面部分称为作业（job），后面部分称为转换（transformation）

Staging area 数据缓存区

数据保存在ASCII文件中比插入数据库表更快.

BI需要敏捷方法

瀑布模型相关方法en.wikipedia.org/wiki/Structured_Analysis

敏捷 Scrum 原意为橄榄球比赛中的争球.

agilemanifesto.org

CI 持续集成

wiki.pentaho.com/display/AGILEBI/Welcome+to+Agile+Business+Intelligence

SAP系统里超过70000张表

Salesforce.com 现在最流行的在线CRM系统

数据格式最恶名昭著的是excel,最好的建议是不要接受excel格式提供的数据,除非你确认excel文件是系统自动生成的而且生成excel的机器和运行转换的机器属于同一个用户,当使用了不同国际化的设置,Excel的数据格式问题更是层出不穷.

CDC 增量数据捕获有两种最基本的分类:侵入式(intrusive)和非侵入式(nonintrusive)

只要对源系统执行了SQL语句,就是侵入式的.

建立全局的业务字典和元数据系统

ETL能通过3种方式处理大数据:并发\分区\集群