图解大数据 | 流式数据处理-Spark Streaming

流式数据(Streaming Data)和非流式数据(Batch Data)区别、使用场景、优化-来自前端的浅解 流式数据(Streaming Data)** 和 **非流式数据(Batch Data) 阅读详情

作者:韩信子@ShowMeAI
教程地址:http://www.showmeai.tech/tutorials/84
本文地址:http://www.showmeai.tech/article-detail/179
声明:版权所有,转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容


1.Spark Streaming解读

流式数据处理; ; Spark Streaming; 解读; 13-1

1)Spark Streaming简介

Spark Streaming是Spark核心API的一个扩展,可以实现实时数据的可拓展,高吞吐量,容错机制的实时流处理框架。

流式数据处理; ; Spark Streaming; 简介; 13-2

Spark Streaming 支持的数据输入源很多,例如:Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语如:map、reduce、join、window 等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。另外Spark Streaming 也能和 MLlib(机器学习)以及 Graphx 完美融合。

(1)流数据特点

  • 数据一直在变化
  • 数据无法回退
  • 数据始终源源不断涌进

(2)DStream概念

和 Spark 基于 RDD 的概念很相似,Spark Streaming 使用离散化流(discretized stream)作为抽象表示,叫作DStream。DStream 是随时间推移而收到的数据的序列。在内部,每个时间区间收到的数据都作为 RDD 存在,而DStream 是由这些RDD 所组成的序列(因此得名“离散化”)。

(3)DStream形成步骤

  • 针对某个时间段切分的小数据块进行RDD DAG构建。
  • 连续时间内产生的一连串小的数据进行切片处理分别构建RDD DAG,形成DStream。

定义一个RDD处理逻辑,数据按照时间切片,每次流入的数据都不一样,但是RDD的DAG逻辑是一样的,即按照时间划分成一个个batch,用同一个逻辑处理。

流式数据处理; ; Spark Streaming; DStream形成步骤; 13-3

DStream 可以从各种输入源创建,比如 Flume、Kafka 或者 HDFS。创建出来的 DStream 支持两种操作,一种是转化操作(transformation),会生成一个新的DStream,另一种是输出操作(output operation),可以把数据写入外部系统中。DStream 提供了许多与 RDD 所支持的操作相类似的操作支持,还增加了与时间相关的新操作,比如滑动窗口。

2)Spark Streaming特点

流式数据处理; ; Spark Streaming; 特点; 13-4

Spark Streaming有下述一些特点:

  • 易用:Spark Streaming支持Java、Python、Scala等编程语言,可以像编写离线程序一样编写实时计算的程序求照的器。

  • 容错:Spark Streaming在没有额外代码和配置的情况下,可以恢复丢失的数据。对于实时计算来说,容错性至关重要。首先要明确一下Spak中RDD的容错机制,即每一个RDD都是个不可变的分布式可重算的数据集,它记录着确定性的操作继承关系(lineage),所以只要输入数据是可容错的,那么任意一个RDD的分区(Partition)出错或不可用,都可以使用原始输入数据经过转换操作重新计算得到。

  • 易整合到Spark体系中:Spark Streaming可以在Spark上运行,并且还允许重复使用相同的代码进行批处理。也就是说,实时处理可以与离线处理相结合,实现交互式的查询操作。

3)Spark Streaming架构

大家知道Spark的工作机制如下:

流式数据处理; ; Spark Streaming; 工作机制; 13-5

而SparkStreaming架构由三个模块组成:

流式数据处理; ; Spark Streaming; 三个模块; 13-6

在上图中几个核心的角色和功能分别是:

  • Master:记录Dstream之间的依赖关系或者血缘关系,并负责任务调度以生成新的RD

  • Worker:

    • ①从网络接收数据并存储到内存中
    • ②执行RDD计算
  • Client:负责向Spark Streaming中灌入数据(flume kafka)

4)Spark Streaming 作业提交

(1)相关组件

Spark Sreaming的作业提交包含的组件和功能分别为:

  • Network Input Tracker:跟踪每一个网络 received数据,并且将其映射到相应的 Input Dstream上
  • Job Scheduler:周期性的访问 Dstream Graph并生成 Spark Job,将其交给 Job Manager执行
  • Job Manager:获取任务队列,并执行 Spark任务

(2)具体流程

具体的作业提交流程如下:

数据流和数据流处理技术 首先明确数据流概念:数据流是连续不断生成的、快速变化的无界数据序列 数据流大致可以分为四种类型:1.连续型数据流:不断地产生数据,数据稳定速度输入系统。2.突发型数据流:在某特定时间或者事件的处罚下,产生大量数据。3.周期性数据流:按一定的时间周期产生数据。4.事件驱动型数据流:由特定的事件触发而产生的数据。事件发生后,相关数据会输入系统。 阅读详情

相关推荐

【图解大数据技术】流式计算:Spark Streaming、Flink

Flink 和 Spark Streaming 不一样,Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流,也可以用于计算存储在 HDFS 等存储系统上的数据(Flink 把 这些静态数据当做数据流来进行处理)。然后 Flink 计算后生成的结果流,也可以发送到其他存储系统。

weixin_43889578的博客 1986

图解大数据技术:从入门到精通系列教程

本篇内容是ShowMeAI组织的「图解大数据处理与开发」系列教程入口,本教程以大数据技术为根基,给大家讲解大数据开发与数据处理分析的相关知识与技能,并配以相关的实战案例帮助大家学习理解。...

ShowMeAI研究中心 1万+

初识 Spark - 7000字+15张图解,学习 Spark 入门基础知识

欢迎关注「数人之道」公众号 获取更多数据知识、干货、资讯! 延伸阅读: 初识 Spark | 带你理解 Spark 中的核心抽象概念:RDDSpark RDD 的概念、操作、依赖关系https://mp.weixin.qq.com/s?__biz=MzkwNTI4MDEzOQ==&mid=2247485795&idx=1&sn=5ec304fde1d31f6e269d8ddcb07e8c1c&chksm=c0fb6687f78cef91bd2b81fb5602e...

欢迎关注数据类微信公众号:数人之道,分享数据知识、干货、资讯 1165

Spark 生态系统组件

引言:随着大数据技术的发展,实时流计算、机器学习、图计算等领域成为较热的研究方向,而Spark作为大数据处理的“利器”有着较为成熟的生态圈,能够一站式解决类似场景的问题。那么Spark生态系统中有哪些组件你知道吗?下面让我们跟着本文一同了解下 这些不可或缺的组件。本文选自《图解Spark:核心技术与案例实战》。   Spark 生态系统以Spark Core 为核心,能够读取传统文件(如文本...

博文视点(北京)官方博客 1万+

Flink在大数据领域的多流处理策略

随着5G、物联网的普及,企业的数据不再是单一源头的“细流”,而是多源头、多类型的“数据洪水”。比如一个电商平台可能同时产生用户点击流、订单支付流、物流运输流、客服咨询流。如何让这些“数据支流”协同工作,实时输出有价值的洞察(比如“某商品下单后2小时未支付的订单占比”),是实时计算的核心挑战。本文将聚焦Flink的多流处理策略,覆盖数据分流(Split)、数据合流数据连接(Join/CoGroup)三大核心场景,以及时间窗口、水印等关键机制。用“快递分拣中心”的故事类比多流处理;

AI Agent Harness Engineering 704

Spark Streaming原理与代码实例讲解

Spark Streaming原理与代码实例讲解 作者:禅与计算机程序设计艺术 1. 背景介绍 1.1 大数据流处理的重要性 在当今大数据时代,海量数据以持续不断的流式方式实时产生,传统的批处理模式已经无

AI天才研究院 2102

SpeedyBee F405 V3 50A飞塔装机全攻略:从开箱到首飞避坑指南

本文提供SpeedyBee F405 V3 50A飞塔的详细装机指南,涵盖从开箱检查、硬件焊接、软件配置到安全首飞的全流程。重点剖析了电源连接、固件刷写等高频故障点,帮助FPV新手避开常见陷阱,确保一次成功组装并安全起飞。

weixin_29179311的博客 418

Vercel部署个人博客

先去注册一个账号,建议注册一个Github账号后,使用Github账号来登录Vercel。vercel 部署静态资源网站极其方便简单,并且有可观的访问速度,最主要的是免费部署。此时项目已经成功搭建完毕了,点击图片即可跳转到 vercel 所提供的二级域名访问。然后可以直接拉取我的仓库,所有已经配置好了,可以直接使用,建议fork成自己的!然后修改dns就行,注意vercel提供的域名可能访问不了,需要自己绑定!如果有自己的域名,还可以在 vercel 中进行设置。进入Vercel官网。

醉里博客202271.xyz 2368

Unity分包下载实战:AssetBundle+CDN+热更新全链路指南

分包下载是移动应用资源管理的核心技术,本质是将大体积安装包拆解为按需加载的独立资源单元,以解决用户安装意愿低、首屏启动慢、热更新不可控等关键问题。其底层依赖资源打包机制(如Unity AssetBundle)、全球分发网络(CDN)与安全热更新策略三者协同。AssetBundle提供资源隔离与依赖管理能力,CDN保障低延迟高可用下载,而热更新策略则决定版本控制、灰度发布与异常恢复的工程鲁棒性。该方案广泛应用于中重度游戏、大型工具类App及需要频繁内容迭代的商业项目,直接提升次日留存、过审成功率与用户在线时长

weixin_29762151的博客 360

搭建适用于lammps中opls-aa力场的文件流程

现在我已经解决了以上问题,并且通过我的方法可以实现从空白文档到搭建完成以上全部内容,后期只要细心检查即可。需要的data文件最关键是获得相应阴阳离子的mmol文件,因此问题转化为构建一份mmol文件。主要用到的软件及程序:gaussian09,makemol程序(tranal),opls-aa的参数文件。二面角个数:成角原子序号及对应的参数(这里PF6的结构没有二面角,所以为0)参考文献个数:文献名(空够行数即可,这些是给自己的备忘))和自身体系对应的参考文献,修改或填入对应的参数即可。

baguette的博客 2888

手把手教你用开源EtherCAT协议栈SOEM开发从站设备(附避坑指南)

本文详细介绍了如何使用开源EtherCAT从站协议栈SOES进行嵌入式设备开发。内容涵盖从环境搭建、硬件准备到核心的对象字典与PDO映射配置,并重点分享了主循环集成、状态机处理以及实战调试中的常见问题与避坑指南,旨在帮助开发者高效实现设备接入工业现场总线网络。

linux的博客 631

Android Studio安装常见问题详解——Android Emulator Hypervisor Driver for AMD Processors installation failed.

目录一、问题描述二、解决方案2.1 开启CPU虚拟化2.2 禁用Hyper-V2.3 使用管理员命令行在驱动程序包中执行“silent_install.bat” 一、问题描述 新买的AMD轻薄本,在安装Android Studio时遇到问题: Android Emulator Hypervisor Driver for AMD Processors installation failed. 笔记本配置为: 二、解决方案 2.1 开启CPU虚拟化 设置虚拟化的步骤这里不进行详细介绍了。如果需要,可以自行百

Wendy的博客 4万+

C++11、C++14 和 C++17 标准新特性详解

特性C++11C++14C++17auto类型推导✅范围 for 循环✅Lambda 表达式✅✅✅智能指针✅移动语义✅nullptr✅统一初始化{}✅✅constexpr✅✅✅✅数字分隔符✅结构化绑定✅✅✅文件系统库✅。

h a 6 6 6 c k 为 你解决复杂难题! 443

OpenCV实战系列——图像线条提取

基于内容的图像分析,需要从构成图像的像素集合中提取有意义的特征。轮廓、线条、区域等是基本的图像基元,可用于描述图像中包含的元素。本节将介绍如何提取重要的图像线条特征。

m0_58523831的博客 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: 图解大数据 | 综合案例-使用Spark分析挖掘音乐专辑数据
下一篇: 图解大数据 | Spark机器学习(上)-工作流与特征工程
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值