大数据名词及基本原理

介绍maxcompute、hadoop、hive、hbase、spark、flink、adb、clickhouse、presto、hawq、greenplum、dremio、kudu、kafka等大数据领域相关技术、工具。

 

一、MaxCompute:

MaxCompute以表的形式存储数据，支持多种数据类型版本说明(1.0, 2.0, Hive)，并对外提供SQL查询功能。您可以将MaxCompute作为传统的数据库软件操作，但其却能处理TB、PB级别的海量数据。

二、hadoop

Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引擎。

 

 

2.1 Hive（数据仓库工具）

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。

Hive选择Hadoop来存储和处理数据，因为Hadoop有较好的性价比。Hive设计的目标是让精通SQL技能(Java较弱的)分析师，能够从存放在HDFS的大规模数据集上，运行查询。

表模式等元数据存放在名为metastore的数据库中。默认的metastore在本地运行。此时创建的Hive表在本地上，无法与其它用户共享。

2.2HBase