Spark Streaming 学习笔记

最新推荐文章于 2025-12-03 22:33:34 发布

原创最新推荐文章于 2025-12-03 22:33:34 发布 · 229 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据专栏收录该内容

1 篇文章

订阅专栏

本文深入探讨了Spark Streaming与Structured Streaming的区别，分析了微批处理流与连续流的特性，为读者提供了选择合适流处理架构的依据。

Spark streaming vs Structured Streaming

MicroBatch Streaming VS Continous Streaming

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

刘斌的学习笔记

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark学习笔记Spark Streaming的使用

08-25

Spark Streaming 使用指南 Spark Streaming 是一个基于 Spark Core 之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理。在 Spark Streaming 中，有一个最基本的抽象叫 DStream（代理），本质上就是一...

Spark 学习之路，包含 Spark Core，Spark SQL，Spark Streaming，Spark mllib 学

05-15

* [spark streaming学习笔记及代码 Spark 消息通信 ### Spark 启动消息通信 Spark 启动过程中主要是进行 Master 和 Worker 之间的通信，其消息发送关系如下，首先由 worker 节点向 Master 发送注册消息，然后 ...

参与评论您还未登录，请先登录后发表或查看评论

SparkStreaming学习笔记

qq_1763467007的博客

12-07

1712

Spark学习笔记一Spark核心模块 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘。 Spark核心模块 ...

SparkStreaming 学习笔记

十二的博客

07-28

523

SparkStreaming概述 1.1 Spark Streaming是什么 Spark Streaming用于流式数据的处理 1.Spark Streaming支持的数据输入源头很多，例如：Kafka，Flume，HDFS等 2.数据输入后可以用Spark的高度抽象原语如：map，reduce，join，window等 3.而结果也能保存在很多地方，如HDFS，数据库等 1.2 Spark Streaming架构原理 1.2.1 什么是DStream 1.2.2 架构图整体架构图 SparkStr

Spark Streaming学习笔记

weixin_30594001的博客

07-19

Spark Streaming 编程学习笔记 简介 spark stream 基于spark 核心API扩展而来，提供了一种具有规模可伸缩、高吞吐、错误恢复的处理实时数据流的流式处理方法。数据来源可以从本地文件，hadoop等接受，可以使用该机函数类似map、reduce、window等函数进行处理。数据结果同样可以进行多种形式的存储。在spark stream内部，将接收到的实时数...

大数据——SparkStreaming学习笔记

koooooooo5的博客

05-07

432

Spark 一、SparkStreaming Spark Streaming 用于流式数据的处理（准实时，微序列）。Spark Streaming 支持的数据输入源很多，例如：Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语，如：map、reduce、join、window 等进行运算。而结果也能保存在很多地方，如 HDFS，数据库等。 **DStream（离散化流，discretized stream）**是随时间

spark Streaming 学习笔记

qq_40186809的博客

03-28

288

spark Streaming 介绍 spark Streaming 是 spark 核心 API 的扩展之一。用于实现实时数据流的可扩展，高吞吐量，容错流处理。数据的输入和数据的输出具体如下图： sparkStreaming 可进行复杂的运算，如 map, reduce, join, window 等。处理后的数据可流向文件系统（HDFS），数据库（Databases），实时仪器表（Bash...

【Spark Streaming】Spark Day10：Spark Streaming 学习笔记

Maynor的博客

11-28

1318

Spark Day10：Spark Streaming 01-[了解]-昨日课程内容回顾实战练习：以DMP广告行业背景为例，处理广告点击数据，分为2个方面【广告数据ETL转换和业务报表开发】，具体说明如下：【前提】：使用SparkSQL完成案例练习，进行代码编写 1、广告数据ETL转换 JSON文本数据 -> DataFrame：提取IP地址，解析转换为省份和城市 -> 保存到Hive分区表中数据源文件系统（HDFS、LocalFS）文本文件数据：JSON格式

【Spark Streaming】Spark Day11：Spark Streaming 学习笔记

Maynor的博客

11-28

647

Spark Day11：Spark Streaming 01-[了解]-昨日课程内容回顾主要讲解：Spark Streaming 模块快速入门 1、Streaming 流式计算概述 - Streaming 应用场景实时报表RealTime Report 实时增量ETL 实时预警和监控实时搜索推荐等等 - 大数据架构：Lambda架构离线分析，实时计算分为三层： - 批处理层，BatchLayer - 速度层，SpeedLayer - 服务

kafka + sparkStreaming 学习笔记

热门推荐

今夕何年博客

12-29

1万+

Kafka 简介 kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。 kafka生产消息、存储消息、消费消息 kafka 有 producer、comsumer、broker、topic 和 zookeeper 组成。 producer : 消息生产者...

20200623SparkStreaming学习笔记

weixin_44611305的博客

06-24

245

为什么是local[2] (需要资源)socket <- Receiver ->Memory -> Operation (也需要资源) 所以不设置2的话就无法往下执行黑名单过滤访问日志 ==> DStream 20180808,zs 20180808,ls 20180808,ww ==> (zs: 20180808,zs)(ls: 20180808,ls)(ww: 20180808,ww) 黑名单列表 ==> RDD zs ls ...

kafka + sparkstreaming 学习笔记

06-28

在学习Kafka和Spark Streaming时，需要掌握它们的基本概念、原理和使用方法，以及如何将它们结合起来实现实时数据处理和分析。同时，还需要了解Kafka和Spark Streaming的优缺点，以及如何优化它们的性能和可靠性。

Spark解析JSON字符串

Appreciate(欣赏)

12-03

【代码】Spark解析JSON字符串。

深入理解数据仓库设计：事实表与事实宽表的区别与应用

深耕后端、偏爱架构，用代码与设计构建可靠系统

11-29

1163

在数据仓库（Data Warehouse）设计中，事实表（Fact Table）和事实宽表（Wide Fact Table）是两种常见的存储度量数据的表格。它们在结构、查询效率、存储方式等方面有所不同，选择合适的设计模式对于提高查询性能、减少存储开销以及满足业务需求至关重要。本文将详细介绍事实表与事实宽表的定义、区别及应用场景，并通过实际的 SQL 示例帮助您更好地理解这两种设计模式。

星火链智：领码SPARK融合平台与湖北数据知识产权综合服务平台全栈对接技术白皮书

领码SPARK - 以无代码之星火，燎原数字之未来！

12-01

1218

本文系统阐述了领码SPARK融合平台与湖北省数据知识产权综合服务平台的技术对接体系，基于iPaaS+aPaaS双引擎架构设计，构建"数据-协议-安全-AI"四维协同模型。通过元数据驱动智能映射、零信任安全网关、多模态协议适配器及AI增强质量检测等核心技术，实现知识产权数据资产的标准化封装、合规化流通与智能化服务。全文涵盖对接架构设计、数据格式转换、安全认证机制、AI赋能实践及实施路线图，为政务数据要素市场化配置提供可落地的技术范式。

Spark分桶表实战：如何用分桶减少 40%+ 计算时间

涤生大数据

11-30

440

今年校招面试spark的分桶表这块问的比较多一些，今天借此给小伙伴搞个案例讲讲哈！分桶本质上是对文件的划分，其执行逻辑是对分桶key的hash值对桶个数取模，在大表join场景的主要优化逻辑在于通过预先设置分桶+排序，其执行效率得以提高有两个重要原因：避免走Shuffle以及不用在内存中保存Hash数据结构。

Spark Shuffle 深度解析与参数详解

mn_kw的博客

12-02

571

Spark Shuffle 是分布式计算中数据重分布的关键环节，本文深度解析了其核心原理与优化策略。主要内容包括：1) Shuffle 的两种实现方式（Hash Shuffle 和 Sort Shuffle）及演进历程；2) 完整的 Shuffle 生命周期，包含 Write 和 Read 两阶段；3) 三种写入模式（Bypass/Sort/Unsafe）的适用场景；4) 内存管理机制与文件生成过程；5) 数据拉取优化策略，包括连接复用、重试机制和直接内存缓冲区。文章还提供了详细的参数配置指南和性能优化建议

【开题答辩全过程】以基于Spark的全球地震信息数据可视化分析平台研究为例，包含答辩的问题和答案

shiji3076的博客

12-03

198

本文介绍了一位拥有14年经验的毕设指导专家，擅长Java、Python等多种编程语言和大数据、深度学习等项目开发。文中详细展示了一个基于Spark的地震数据可视化分析平台的毕业设计案例，包括数据爬取、存储分析、可视化展示等完整技术流程。该案例采用Python+Spark+MySQL技术栈，适合基础一般的学生上手。文章还记录了真实的答辩问答过程，涉及技术选型、系统部署等关键问题，最后评委给出了肯定评价和建议。文末提供开题报告参考和毕设指导服务信息，帮助学生顺利完成毕业设计。

spark 支持hive