weixin_43132433的博客

一些刚进公司的同学有时候会问我，我们的数据库信息为什么有冗余呢，这个表的设计和之前学校学习的不一样呢，为什么不符合三范式呢等等。下面我会依次介绍下数据库、数据仓库、数据集市的概念以及他们之间的区别。 首先是概念： 数据库：按照数据结构来组织、存储、管理数据的建立在计算机存储设备上面的仓库。数据库一般适用于操作型系统。因为符合三范式的设置，数据的一致性较好。 数据仓库：数据仓库(Data ...

  在根据用户需求选择需要抽取的字段之外，我们通常需要选择采用全量或者增量的方法进行数据抽取。全量抽取指的是从源系统中将表内数据不加行的筛选，全部抽取；增量抽取指的是只抽取前次抽取之后发生变化或者新增的数据（增量抽取的数据难度较大，要保证数据不能多抽取，漏抽取）。   在源表数据量较大，大部分数据一经入库改动可能较小时一般采用增量抽取的方式；对于表数量较小或者维表这类情况会进行增量抽取。   ...