大数据存储

什么是大数据存储？

首先，我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序)。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交媒体帖子、传感器、多媒体数据)。此外，大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。

由于这些数据缺乏一致性，使标准处理和存储技术无计可施，而且运营开销以及庞大的数据量使我们难以使用传统的服务器和SAN方法来有效地进行处理。换句话说，大数据需要不同的处理方法：自己的平台，这也是Hadoop可以派上用场的地方。

Hadoop是一个开源分布式计算平台，它提供了一种建立平台的方法，这个平台由标准化硬件(服务器和内部服务器存储)组成，并形成集群能够并行处理大数据请求。在存储方面来看，这个开源项目的关键组成部分是Hadoop分布式文件系统(HDFS)，该系统具有跨集群中多个成员存储非常大文件的能力。HDFS通过创建多个数据块副本，然后将其分布在整个集群内的计算机节点，这提供了方便可靠极其快速的计算能力。

从目前来看，为大数据建立足够大的存储平台最简单的方法就是购买一套服务器，并为每台服务器配备数TB级的驱动器，然后让Hadoop来完成余下的工作。对于一些规模较小的企业而言，可能只要这么简单。然而，一旦考虑处理性能、算法复杂性和数据挖掘，这种方法可能不一定能够保证成功。

如果是基于SAN结构的话，最好的最前沿的方案就是HA.

主要的是存储设备的HA（高可用），当一台存储包含链路发生问题时，前端业务不会受到中断的影响。

用文件存储将其存储在硬盘上

IBM  cognos多维分析用到的技术：

1、组建好FM模型

2、组建好TS多维模型

3、TS将源数据按模型生成目标的二进制文件

4、将二进制文件加载到服务器内存中，利用COGNOS进行分析 

开源Mondrain 多维分析用到的技术：(主要是数据处理)

1、建立好多维模型

2、将数据处理成多维模型的格式，｛例如一个表字段有存款类型、存款时间、存款金额，则可将存款类型、存款金额做成一个A表，存款时间、存款金额做成一个B表，当分析存款类型、存款金额，则自动跳到该A表中了。｝