2023年Spark大数据处理讲课笔记

已于 2023-05-15 11:19:15 修改
阅读量1.3k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（1） 文章标签： spark rdd
于 2023-04-16 07:55:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/130178597
这篇博客详述了2023年Spark大数据处理的讲课内容，涵盖Scala语言基础，包括搭建环境、变量、数据类型等；深入讲解Spark基础与运行原理；重点解析RDD的创建、算子、分区和容错机制；最后介绍了Spark SQL的数据源操作和典型案例，涉及Parquet、JSON、Hive表和JDBC。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark大数据处理讲课笔记2.1 初识Spark
howard2005的专栏
03-20 1961
1. 了解什么是Spark计算框架； 2. 了解Spark计算框架的特点； 3. 了解Spark计算框架的应用场景； 4. 理解Spark框架与Hadoop框架的对比
Spark大数据处理讲课笔记4.8 Spark SQL典型案例
howard2005的专栏
05-15 1061
1. 使用Spark SQL实现词频统计； 2. 使用Spark SQL计算总分与平均分； 3. 使用Spark SQL实现分组排行榜； 4. 使用Spark SQL统计每日新增用户
Spark大数据处理讲课笔记3.8 Spark RDD典型案例
howard2005的专栏
05-10 1644
1. 利用RDD计算总分与平均分； 2. 利用RDD统计每日新增用户； 3. 利用RDD实现分组排行榜
Spark大数据处理讲课笔记3.2 掌握RDD算子
howard2005的专栏
04-10 1510
1. 了解RDD的处理过程； 2. 掌握转换算子的使用； 3. 掌握行动算子的使用
Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
howard2005的专栏
05-15 1213
1. 学会使用默认数据源； 2. 学会手动指定数据源； 3. 理解数据写入模式； 4. 掌握分区自动推断
Spark大数据处理讲课笔记1.6 掌握Scala数据结构
howard2005的专栏
03-01 1958
1. 掌握数组的使用； 2. 掌握列表的使用； 3. 掌握映射的使用； 4. 掌握集合的使用； 5. 掌握元组的使用
Spark大数据处理讲课笔记1.7 掌握Scala函数
howard2005的专栏
03-17 726
1. 掌握如何声明函数； 2. 了解各种类型的函数； 3. 掌握占位符的使用； 4. 理解闭包的现象； 5. 掌握可变参数； 6. 理解尾递归
Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目
howard2005的专栏
03-29 1051
1. 掌握本地模式执行Spark程序； 2. 掌握集群模式执行Spark程序
Spark大数据处理讲课笔记1.5 掌握Scala内建控制结构
howard2005的专栏
02-20 1114
1. 掌握条件表达式； 2. 掌握各种循环； 4. 理解流间变量绑定； 5. 掌握yield语句的使用； 6. 掌握异常处理语句； 7. 了解match语句的使用； 8. 理解变量作用域
本地一键部署 Spark-TTS，支持Mac和Windows
分享开发心得
07-23 347
Spark-TTS是一款支持零样本语音克隆的多语言文本转语音工具，提供逼真音效和可控参数。用户可通过魔当(LM Downloader)实现本地一键部署，支持Windows(NVIDIA显卡/CPU)、macOS(Intel/M芯片)，需10GB硬盘空间。安装时点击"本地部署"找到Spark-TTS，未安装点"安装"，已安装可更新。运行后自动跳转浏览器使用，日志功能便于排查问题。项目下载地址：https://seemts.com/。
【Spark征服之路-3.8-Spark-SQL核心编程（七）】
qq_46394486的博客
07-23 899
SparkSQL与Hive的集成使用指南 SparkSQL可以通过内置或外部方式集成Hive，支持Hive表访问、UDF函数和HQL查询。集成方式包括： 内置Hive（生产环境不推荐）； 外部Hive：需配置hive-site.xml、MySQL驱动和HDFS配置文件； Spark ThriftServer：兼容HiveServer2，可通过beeline连接； Spark-SQL CLI：本地运行Hive元数据服务；代码操作：需添加依赖，配置warehouse目录地址（默认本地，可修改为HDFS路径）
Spark 之 DataFrame
zhixingheyi_tian的博客
07-23 79
【代码】Spark 之 DataFrame。
【Spark征服之路-3.6-Spark-SQL核心编程（五）】
qq_46394486的博客
07-21 503
本文介绍了Spark中自定义函数（UDF）和自定义聚合函数（UDAF）的实现方法。首先展示了UDF的基本使用，通过注册字符串处理函数对数据进行转换。然后详细讲解了三种实现平均工资计算的方法：1）使用RDD进行map-reduce操作；2）采用弱类型UserDefinedAggregateFunction实现UDAF；3）使用Spark3.0+推荐的强类型Aggregator方式实现UDAF。每种方法都包含完整的代码示例，展示了从数据准备、函数定义到SQL查询的全过程，并比较了不同实现方式的差异。
spark on yarn
不辉放弃的博客
07-18 218
Spark on YARN 是指将 Spark 应用程序运行在 Hadoop YARN 集群上，借助 YARN 的资源管理和调度能力来管理 Spark 的计算资源。• Spark 应用：包含 Driver 进程和 Executor 进程。◦ ApplicationMaster：为每个 Spark 应用启动，向 ResourceManager 申请资源，协调 Executor 运行。◦ ResourceManager：集群资源（CPU、内存）的总管理者，负责接收应用的资源请求并分配。
my project zradmin front
07-24
my project zradmin front
FINEBI新的体会报告
07-24
FINEBI新的体会报告
基于S7-1200 PLC与TP700触摸屏的配方查询系统：SCL语言实现高效管理和扫码数据处理 v1.0
07-24
利用西门子S7-1200 PLC和TP700触摸屏构建的配方查询系统的实现方法。系统采用SCL语言编写，能够高效管理多达20组配方，支持扫码调用和存储扩展。文中展示了具体的编程思路和技术细节，如配方数据结构的设计、扫码处理函数、触屏交互以及存储空间预警等功能的实现。此外，还讨论了调试过程中遇到的问题及其解决方案，如扫码频率过高的处理方法。 适合人群：熟悉PLC编程和工业自动化领域的工程师，尤其是希望深入了解SCL语言和配方管理系统的人群。 使用场景及目标：适用于需要高效管理加工参数和扫码数据的企业生产环境，旨在提高生产效率和灵活性，减少人工干预，确保配方数据的安全性和准确性。 其他说明：本文不仅提供了详细的代码示例，还分享了许多实用的经验技巧，帮助读者更好地理解和应用相关技术。
Hi3516CV610 SVB电压和寄存器对应关系
07-24
文档中详细列出了产品名称为 Hi3516C、版本为 V610 的相关内容，并对可能出现的标志及其含义进行了说明，还包含修订记录，显示该版本为第 1 次临时版本发布。其核心内容是表 1-1 “SVB 电压和寄存器对应关系表”，该表针对 DVDD 电源，电压范围在 0.8V-1.08V 之间，对应的寄存器地址为 0x11029000，调压时需按照特定步骤操作，即通过调节该地址中 0x0XXX19f5 的 XXX 部分（也就是 SVB_PWM 占空比）来设置 SVB 电压。 表中包含 29 组数据，每组数据均列出了寄存器值、对应的设置电压值以及容忍的误差范围（均为 ±0.030V），例如寄存器值 0x000019f5 对应的设置电压为 1.080V，寄存器值 0x010A19f5 对应的设置电压为 0.800V 等。同时，文档特别说明以上表格内容仅供参考，且仅限用于《Hi3516CV610 硬件设计用户指南 (BGA)》和《Hi3516CV610 硬件设计用户指南 (QFN)》中 “SVB 动态调压” 章节推荐的电阻电容参数 SVB 电路的验证，而用于产品的 SVB 电路解决方案则必须严格遵循这两份硬件设计用户指南中该章节的设计要求，任何自行修改 SVB 电路设计导致的问题，海思公司不承担责任。
微电网优化技术及其算法研究：从Yalmip+Cplex到粒子群与遗传算法的应用 指南
最新发布
07-24
内容概要：本文详细探讨了微电网优化技术及其相关算法的研究，涵盖多种优化方法和技术手段。主要内容包括：（1）使用Yalmip+Cplex进行微电网优化建模，涉及光伏、风电、蓄电池和电网的协调配置；（2）采用粒子群算法优化微电网及综合能源系统，通过群体智能算法优化能源分配；（3）介绍多目标算法优化综合能源系统，以及遗传算法在光伏出力预测和风光负荷典型场景生成中的应用；（4）讨论拉丁超立方抽样方法在生成代表性场景中的作用。每种方法均配有详细的代码分析，帮助读者深入理解其实现细节。 适合人群：对微电网优化技术和算法感兴趣的科研人员、工程师及相关领域的学生。 使用场景及目标：适用于希望深入了解微电网优化技术及其实际应用的人士，旨在提供理论与实践相结合的学习材料，帮助读者掌握不同优化算法的具体实现方式。 其他说明：本文不仅介绍了各种优化算法的基本原理，还提供了相应的代码实例，便于读者动手实践并加深理解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值