大数据技术Hadoop生态圈

最新推荐文章于 2023-07-09 22:15:45 发布

c_for_plus_plus

最新推荐文章于 2023-07-09 22:15:45 发布

阅读量245

点赞数 2

CC 4.0 BY-SA版权

文章标签：大数据

本文链接：https://blog.youkuaiyun.com/c_for_plus_plus/article/details/82662761

本文介绍了大数据领域的关键技术组件，包括文件存储系统如Hadoop HDFS和Tachyon，离线及实时计算框架如Spark和Flink，NoSQL数据库如HBase和MongoDB，以及资源管理和监控工具等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文件存储：Hadoop HDFS、Tachyon、KFS、Carbon、Parquet
离线计算：Hadoop MapReduce、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron、Flink
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、分布式协调服务：Zookeeper、Kylin、Druid
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie