批流融合系统-SparkV2/Beam

zealscott

于 2018-12-23 20:51:30 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： DistributionSystem 文章标签： Spark Streaming Beam

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/crazy_scott/article/details/85226054

本文介绍了批流融合系统的发展，重点讨论了SparkV2的Structured Streaming和Beam模型。SparkV2通过Structured Streaming将流计算转换为批处理的micro-batch模型，处理Event time和Late Data挑战。而Beam则强调统一的API，采用WWWH模型，适用于不同的批流处理系统。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

介绍目前还在推进的批流融合系统-SparkV2/Beam

SparkV2

回顾

Feature

在第一代的Spark Streaming系统中，其主要特点为：

以批处理核心，使用micro-batch模型将流计算转换为批处理
流计算和批处理API可以互用
- DStream（特殊的RDD)
- RDD

Spark Streaming局限性

Spark streaming难以处理的需求

Event-time
Late Data
- 流数据的三个特征
  - 乱序
  - 延迟
  - 无界
Session windows
- 比较难处理，与batch框架相矛盾

Structured Streaming思路

类似Flink，流向表转换
流与表的操作统一到DataSet/DataFrameAPI
底层引擎依然是批处理，继续使用micro-batch的模型
- Continuous query模型还在开发中

处理模型

Unbounde

最低0.47元/天解锁文章

200万优质内容无限畅学

博客等级

码龄8年

196
原创

413
点赞

1800
收藏

326
粉丝

关注

私信

热门文章

分类专栏

展开全部收起

上一篇：: Flink编程练习（二）

下一篇：: 分布式图处理系统--Pregel

最新评论

基于IMDb数据集的情感分析（Doc2Vec模型与神经网络实现）
gdisnsagu: 有预处理完的文件吗
KMP算法详解（C++实现）
2401_84256088: 又臭又长还有错，看我写的 /** * @param s 待匹配的字符串 * @param p 模式串 * @return s是否包含p * next[j]表示以p[j]结尾的子串，的最长相等先后缀的长度 */ bool kmp (const string &s, const string &p) { int n = s.size(), m = p.size(), next[m], i, j, k; next[0] = 0; for (j = 1; j < m; j++) { for (k = next[j-1]; k && p[j] != p[k]; k = next[k - 1]); next[j] = p[j] == p[k] ? k + 1 : 0; } for (i = 0, j = 0; i < n && j < m;) { if (s[i] == p[j]) i++, j++; else j = next[j]; } return j == m; }
矩阵求导法则与性质
Jerry fk: 我也在纠结这玩意儿，我刚看了定义，他那个刚好写反了
hexo下LaTeX无法显示的解决方案
风翼飞镰: 这是关键啊:CDN地址！
python plot hist 密度图概率和不为1
尚未填写: 有用，感谢！想要绘制多组数据的概率图的话，只需把不同的weights添加到一个列表即可，比如： x_value = [train_points, test_points] train_weights = np.ones_like(train_points)/float(len(train_points)) test_weights = np.ones_like(test_points)/float(len(test_points)) weights = [train_weights, test_weights] plt.hist(x_value, bins=10, histtype="bar", alpha=0.5, label=["training set", "test set"], weights=weights) plt.legend() plt.show()

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。