修鹏的专栏

三种基本的存储引擎比较 ----哈希存储引擎、B树存储引擎、LSM树（Log-Structured Merge Tree）存储引擎

来搜狐移动视频dm组已经快一年半了，今天是2014年12月31号，是2014的最后一天，想想写点东西。写点什么尼，咱们就说说数据仓库dm组设计的一些实践把。我这里也感谢我得领导给我的机会和舞台。ok，进入正题。简单聊聊数据仓库设计在我们这边的思考方式，存在不足，还望见谅。      数据仓库之前的文章也说过已经从支持战略决策到支持战略决策和战术决策。对应战术是基本是现在企业对应数据价值的最

一、什么是数据仓库      传统数据仓库的概念是数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。            简单来说之前的数据仓库只能支持战略决策到支持战略决策和战术决策（ tactica decision ）转变，如实时营销、个性化服务等。这种既服务于战略决策又服务于战术决策的数据

greenplum属于MPP数据库的一种，也是建立数据仓库的常用MPP database。greenplum 对于分区表的数据是采用单个表，即分区表是独立的一个逻辑表和物理表，则每个分区有单独的自己的索引等信息，非常适合大数据增量流程的构建。

原网址：http://www.ymc.ch/en/lambda-architecture-part-1Hadoop框架带来了批量数据处理，但是网络规模大数据的实时处理仍然是一个挑战。 有很多技术可以用来建立这样一个完整的数据处理系统 - 但要选择合适的工具并且编排使用它们却是复杂和艰巨的。Nathan Marz将任何数据系统都可定义为：“query =

大数据时代的到来，数据仓库日显重要，如何建立好的数据部门，其实是每个公司都应该重视的问题。第一、数据是分为处理、规范存储、建模分析的三个过程。       “大数据”所处理的数据，还包含半结构化或者非结构化的，甚至是图片、音频、视频等非文本的。这也就是相对于传统技术而言，大数据技术的一个飞跃性的提升。     规范存储，其中最主要是建立数据仓库。建模分析，主要体现在离线数据分析和实

数据仓库与数据集市看了很多数据仓库方面的资料，都涉及到了“数据集市”这一说法，刚开始对数据仓库和数据集市的区别也理解得比较肤浅，现在做个深入的归纳和总结，主要从如下几个方面进行阐述：（1） 基本概念（2） 为什么提出数据集市（3） 数据仓库设计方法论（4） 数据集市和数据仓库的区别（5） 仓库建模与集市建模（6） 案例分析：电信CRM数据仓库Bill Inmon

两种方式：一、通过修改表DDL：alter table t_m_cc set location 'hdfs://heracles/user/video-mvc/hive/warehouse/t_m_cc'二、直接修改hive 的meta info:update `DBS` set `DB_LOCATION_URI` = replace(DB_LOCATION_URI,"oldp