[云框架]SMACK大数据架构

最新推荐文章于 2025-01-05 19:58:59 发布

转载最新推荐文章于 2025-01-05 19:58:59 发布 · 184 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://segmentfault.com/a/1190000010286897

文章标签：

#大数据 #嵌入式

针对数据源数量激增、获取难度提高及分析时效性差等问题，本文介绍了一种名为SMACK的大数据处理技术组合。SMACK由Spark、Mesos、Akka、Cassandra和Kafka组成，特别适用于物联网和API化背景下大数据向快速数据转变的需求。文章还介绍了如何在实际场景中应用SMACK，并提出了使用Flink处理实时数据和Kubernetes替代Mesos作为容器层的建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Github地址：https://github.com/cloudframe...

SMACK是一种数据处理的技术组合，S 代表 Spark （引擎）、M 代表 Mesos （容器）、A 代表 Akka （模型）、C 代表 Cassandra （存储）、K 代表 Kafka （消息队列）。

面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战，SMACK 可以解决 Hadoop 等熟知技术无法解决的诸多问题，特别是物联网化、API 化趋势下 big data 向fast data转变所带来的新需求，以及大数据处理对于Data Pipeline的依赖。

[云框架]SMACK 大数据架构，在引擎层增加了Flink用于处理实时数据，使用Kubernetes替换 Mesos 作为容器层，以某网站数据为例，提供 SMACK 大数据框架的最佳实践，包括 SMACK、数据接入、数据展示在内的完整框架。