Candy_GL的博客

转自：https://blog.youkuaiyun.com/Gospelanswer/article/details/78208761前言数据仓库是今年来适应利用数据支持决策分析的强烈需求而发展起来的数据库应用技术，诚然，数据仓库以数据库为基础，但是他在需求、客户、体系结构与运行机制等方面与数据库存在重大的不同，Kimball说:"我们花了二十年的时间往数据库中加入数据，现在该是拿出来使用的时候了。"   ...

结构化数据、半结构化数据和非结构化数据结构化数据结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子：id name age gender1 lyh 12 male2 liangyh 13 female3 ...

转自：https://www.cnblogs.com/snowbook/p/5773562.html一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，...

转自：https://blog.youkuaiyun.com/wjandy0211/article/details/78802044大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中...

转自：https://blog.youkuaiyun.com/vipyeshuai/article/details/50847281Hive和HBase的区别Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapR...

转自：https://www.cnblogs.com/zichun-zeng/p/8920661.htmlHBase1、hbase为查询而生，它通过组织机器的内存，提供一个超大的内存hash表，它需要组织自己的数据结构，表在hbase中是物理表，而不是逻辑表，搜索引擎用它来存储索引，以满足实时查询的需求；2、hbase 是一个基于列存储的非关系型数据库，查询效率高，主要用于查询和展示结果； 3、h...

转自：https://www.cnblogs.com/freeweb/p/5292961.html我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应对这种情况，使用kafka作为消息队列...