大数据开源框架技术汇总

最新推荐文章于 2024-05-06 19:11:47 发布

訾零

最新推荐文章于 2024-05-06 19:11:47 发布

阅读量9.4k

点赞数 5

分类专栏： BigData 文章标签： bigdata 大数据组件大数据框架

本文链接：https://blog.youkuaiyun.com/lingeio/article/details/94604230

版权

主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。

系统平台（Hadoop、CDH、HDP）
监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）
文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio）
资源调度（YARN、Mesos、）
协调框架（ZooKeeper 、Etcd、Consul）
数据存储（HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、 CouchDB、Kudu、CarbonData）
数据处理（MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron）
查询分析（Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix）
数据收集（Flume、Filebeat、Logstash、Chukwa ）
数据交换（Sqoop 、Kettle、DataX 、NiFi）
消息系统（Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ）
任务调度（Azkaban、Oozie、Airflow）
数据治理（Ranger 、Sentry、Atlas）
可视化（Kibana 、D3.js、ECharts）
数据挖掘（Mahout 、MADlib 、Spark ML、TensorFlow、Keras）
云平台（Amazon S3、GCP、Microsoft Azure）

系统平台

Hadoop：Apache Hadoop是一个开源的分布式系统基础框架，离线数据的分布式存储和计算的解决方案。Hadoop最早起源于Nutch，Nutch基于2003 年、2004年谷歌发表的两篇论文分布式文件系统GFS和分布式计算框架MapReduce的开源实现HDFS和MapReduce。2005年推出，2008年1月成为Apache顶级项目。Hadoop分布式文件系统(HDFS)是革命性的一大改进，它将服务器与普通硬盘驱动器结合，并将它们转变为能够由Java应用程序兼容并行IO的分布式存储系统。Hadoop作为数据分布式处理系统的典型代表，形了成完整的生态圈，已经成为事实上的大数据标准，开源大数据目前已经成为互联网企业的基础设施。Hadoop主要包含分布式存储HDFS、离线计算引擎MapRduce、资源调度Apache YARN三部分。Hadoop2.0引入了Apache YARN作为资源调度。Hadoop3.0以后的版本对MR做了大量优化，增加了基于内存计算模型，提高了计算效率。比较普及的稳定版本是2.x，目前最新版本为3.2.0。

集群管理与监控

Clodera Manager：CM是Cloudera开发的一个基于Web的用于部署和管理CDH集群的软件。它具有集群自动化安装、中心化管理、集群监控、报警等功能，大大节省集群部署时间，降低了运维成本，极大的提高集群管理的效率。(非开源)

文件系统

HDFS：HDFS（Hadoop Distributed File System）分布式文件系统，是分布式计算中数据存储管理的基础。是Hadoop Core项目的核心子项目。HDFS是基于流数据模式访问和处理超大文件的需求而开发的，效仿谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。