Mental-Flow的博客

数据清洗与数据集成（随笔）文章目录数据清洗与数据集成（随笔）一、数据清洗数据清洗的意义数据清洗的目的数据异常的不同类型1.语法类异常2.语义类异常3.覆盖类异常数据质量的评价标准1.正确性2.唯一性数据清洗的任务和过程数据清洗的操作数据清洗的过程数据清洗的具体方法二、数据集成数据集成需要解决的问题--异构性数据集成的模式联邦式数据库模式数据仓库模式中介者模式实体解析一、数据清洗**数据清洗是一种消除数据里面的错误，去掉重复数据的技术。**它可以集成在ETL过程中。在从数据源建立数据仓库的过程中发挥作用

OLAP与结构化数据分析（随笔）文章目录OLAP与结构化数据分析（随笔）一、OLAP（联机分析处理）星型模型联机分析处理的主要操作包括例:时间维度是月份联机分析处理的三种实现技术MOLAPROLAPHOLAP二、数据仓库数据仓库的特点数据仓库上的分析任务SSB 这个测试基准包含三、高性能OLAP系统的关键技术1.列存储技术行存储列存储2.位图索引技术3.内存数据库技术4.MPP并行数据库架构数据划分方法查询处理5.数据库查询执行模式6.分布式事务处理两阶段提交协议缺点三阶段提交协议总结一、OLAP（联机

OLTP与数据服务（随笔）文章目录OLTP与数据服务（随笔）一、数据服务（重点）二、数据服务于数据分析的主要区别三、 OLTP联机事务处理四、RDBMS数据库技术关系数据库管理系统:关系数据库管理系统的主要关系操作:查询优化关系模型ACID事务特性数据库恢复技术五、数据库完全六、并行数据库与分布式数据库并行数据库分布式数据库分布式数据库相对于传统数据库来说的优点:七、NoSQL数据库技术NoSQL的新原则四大类别八、NewSQL数据库技术九、CAP理论一、数据服务（重点）数据服务指的是面向各种操作型业