spark 学习笔记

最新推荐文章于 2026-01-06 17:42:32 发布
转载 最新推荐文章于 2026-01-06 17:42:32 发布 · 95 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/u/2988090/blog/1522686
文章标签：

#大数据

chipiao2039
关注
spark学习笔记
jinming215的博客
09-18 596
6.stage（多个task组成的组合）会被调度到TaskSheduler中，TaskSchedule将任务分配到worker中，并交给Executor进程进行计算。3.SparkContext向master申请计算资源，makster会根据worker的心跳来分配worker的资源，并启动worker的Executor进程。7.executor会创建一个线程池去执行Task，并将执行结果反馈都SparkContext中，直到所有的task执行完毕。8.SparkContext向mskter注销释放资源。
Spark学习笔记（一）：Spark 基本原理
u011047968的专栏
06-13 1443
DAG Scheduler 是面向stage的高层级的调度器，DAG Scheduler 把 DAG 拆分为多个 Task，每组 Task 都是一个 Stage，解析时是以 shuffle 为边界进行反向构建的，每当遇见一个 shuffle，Spark 就会产生一个新的 Stage，接着以 TaskSet 的形式提交给底层的调度器（Task Scheduler），每个 Stage 封装成一个 TaskSet。很多复杂的 SQL 语句，在 Hive 中执行都需要一个小时以上的时间。
Spark学习笔记
NotLency的博客
01-26 1987
Spark学习笔记一、Spark是什么？1 Spark的核心组件2 Spark 运行环境2.1 Local 模式2.2 Standalone 模式2.3 配置高可用（HA ）2.4 Yarn 模式2.5 K8S & Mesos 模式2.6 Windows 模式3 Spark 运行架构3.1 运行架构3.2 核心组件3.2.1 Driver3.2.2 Executor3.2.3 Master & Worker3.2.4 ApplicationMaster 一、Spark是什么？ Spark
Spark学习笔记一
qq_48238787的博客
11-30 1065
1 基于Standalone 模式部署Spark集群 local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。 集群规划。 1.1 上传与解压Spark压缩包 将spark安装包上传至虚拟机中的指定路径上 解压缩文件 tar -zxvf spark-3.0.0-b
【大数据】Spark学习笔记
passnight的博客
01-04 1907
Spark学习笔记; 包含了Spark的基本概念/调度器/优化/RDD算子及SparkSQL的相关概念
Spark 学习笔记
CoLiuRs
03-07 1067
Spark 学习笔记 Spark Spark介绍 Spark安装 Spark架构、角色 Spark任务执行流程 Spark World Count Spark RDD 什么是 RDD RDD 的属性 创建 RDD 从内存 从文件 RDD 分区 RDD 的编程 API RDD 依赖关系 DAG 的生成 RDD 的持久化 RDD 的 cache(持久化) 如何使用 ...
大数据技术-Spark学习笔记
xiaoyixiao_的博客
04-16 2463
大数据技术-Spark学习笔记
Spark学习笔记【基础概念】
qq_33129875的博客
03-18 1599
Spark学习笔记，基础概念。
Spark 的学习笔记
weixin_45866849的博客
12-30 3814
Apache Spark 是一个快速的，多用途的集群计算系统。它提供了 Java，Scala，Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎，它还支持一组丰富的高级工具，包括使用 SQL 处理结构化数据的 Spark SQL，用于机器学习的 MLlib，用于图计算的 GraphX，以及 Spark Streaming。Spark官网下载。
精选资源
Spark学习笔记 Spark学习笔记 Spark学习笔记
08-07
Spark 学习笔记 Spark 是一个基于内存的分布式计算框架，它提供了高效、灵活、可扩展的数据处理解决方案。Spark 的核心组件是 Resilient Distributed Dataset (RDD)，它是一个弹性的分布式数据集合，提供了高效的...
Kafka 幂等性详解
Muyu1uz的博客
01-05 904
本文深入解析Kafka幂等机制解决消息重复与乱序问题。通过ProducerID和序列号生成唯一键，Broker端判断序列号连续性来识别重复和乱序消息。消息以Batch为单位发送，Broker维护状态映射进行比对。但该机制无法解决跨会话问题，需配合事务机制实现完整解决方案。Kafka的幂等设计有效保障了消息队列的可靠性和数据一致性。
PyFlink Table API 用纯 Python 写一个 WordCount（读 CSV + 聚合 + 写出）
hello.reader
01-06 1029
本文介绍了如何使用Flink Python Table API构建一个WordCount数据处理管道。主要内容包括：1)通过TableEnvironment创建流处理环境；2)使用TableDescriptor或DDL两种方式注册文件系统的CSV源表和JSON目标表；3)实现UDTF函数进行单词拆分；4)通过flat_map、group_by和count操作实现单词统计；5)执行execute_insert触发计算并输出结果。文章还提供了完整可运行代码示例，并分享了关于并行度设置、批流模式选择、文件格式选用
使用 RabbitMQ 和 MassTransit 在 .NET Core 中实现强大的微服务：处理订阅者故障和消息恢复
csdn_aspnet的专栏，请点击博客主页右上角三个点中的私信联系
01-01 4318
本文介绍了在.NET Core中使用MassTransit和RabbitMQ构建弹性微服务系统的方法。主要内容包括：1）配置发布-订阅模式实现服务间通信；2）处理订阅服务器重启和RabbitMQ故障时的消息恢复；3）通过指数重试策略和死信队列确保消息可靠性；4）对比推送/拉取模型的优缺点。文章提供了完整的代码示例，展示了如何创建发布者、消费者，并配置重试机制和死信处理，帮助开发者构建高可用的微服务架构。
Go语言高并发实战：集成天远手机号码归属地核验API打造高性能风控中台
最新发布
2501_90292324的博客
01-06 455
本文介绍了如何利用天远手机号码归属地核验API构建高吞吐量的通信数据基础设施，重点展示了Golang对接实现方案。通过结构体映射和AES-128加密，实现类型安全的接口调用，支持海量数据的并发处理。该API提供"手机号-省份-城市-运营商"精准映射，可应用于短信路由、数据清洗和地域风控等场景。Go语言的并发特性可充分发挥API价值，实现毫秒级数据核验和高吞吐业务处理。
Java 大视界 —— Java 大数据在智能农业病虫害精准识别与绿色防控中的创新应用
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
01-03 1097
Java大数据赋能智能农业病虫害精准识别与绿色防控 本文探讨了Java大数据技术在智能农业病虫害防治中的创新应用。传统农业依赖人工巡检和经验判断，存在误判率高（达45%）、预警滞后和农药滥用等问题。而Java大数据技术构建的智能系统通过以下方式实现变革：1）利用分布式架构处理海量农田数据（每公顷20-30个传感器，无人机单次飞行可采集50GB高清图像）；2）基于Flink和Kafka实现实时数据采集与预处理；3）构建AI模型实现病虫害精准识别。文章通过完整代码示例展示了Java大数据技术如何将农田变为数字化
RocketMQ消息队列
天道酬勤的博客
01-05 657
消息队列是分布式系统中实现解耦、异步处理、削峰填谷的核心组件。RocketMQ作为主流消息中间件，具有金融级可靠性、全链路顺序保障和超强扩展性，但存在多语言支持不足和缺乏标准协议等缺点。消息队列主要分为队列模型（点对点，确保任务被单个消费者处理）和发布/订阅模型（广播，消息被多个消费者接收）。技术选型需根据业务需求：队列模型适用于订单处理等需唯一消费场景，发布/订阅模型适用于事件通知等需多系统并行处理场景。
Scala编程入门：Spark学习笔记
"Spark学习笔记，这是一份详细记录Spark学习的笔记，包含了实践代码和解释，适合初学者。笔记中还涉及了与Spark密切相关的Scala编程语言的介绍，包括Scala的基本概念、学习Scala的原因以及简单的Scala编程示例，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值