大数据相关框架

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。

Apache Flink: Stateful Computations over Data Streamshttps://flink.apache.org/

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据 。

Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/

HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google

论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系

统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于

Bigtable的能力。HBase是Apache的Hadoop 项目的子项目。HBase不同于一般的关系

数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而

不是基于行的模式。

Apache HBase – Apache HBase™ Homehttps://hbase.apache.org/

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以

存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化

的数据文件映射为一张数据库表，并提供SQL 查询功能，能将SQL语句转变成MapReduce

任务来执行。

Apache Hivehttps://hive.apache.org/

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜

索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为 Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索 ， 稳定 ， 可靠 ， 快速 ， 安装使用方便 ( 摘 自 百 度 百 科 ) 。

免费且开放的搜索：Elasticsearch、ELK 和 Kibana 的开发者 | Elastichttps://www.elastic.co/cn/