大数据实时计算阶段需掌握的技术有:Mahout、Spark、storm。
1、Spark
Spark是专为大规模数据处理而设计的快速通用的计算引擎,其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求,大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。
2、storm
Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm用于实时处理,就好比 Hadoop 用于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。
关于大数据获客你需要了解的知识
于 2019-08-16 17:42:26 首次发布
本文介绍了大数据实时计算阶段需掌握的关键技术,包括Spark和Storm。Spark作为快速通用的计算引擎,适用于大规模数据处理,需掌握其基础、Job、RDD、部署与资源分配等知识。Storm则专注于分布式实时计算,用于流处理,确保每条消息都能得到处理,且处理速度快。
2726

被折叠的 条评论
为什么被折叠?



