spark 笔记

最新推荐文章于 2025-12-04 16:08:31 发布
原创 最新推荐文章于 2025-12-04 16:08:31 发布 · 203 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

博客介绍了Spark底层核心是Spark Core，其余模块基于Core实现。还提及了操作结构化数据的SQL模块、流式数据处理，以及Scala环境安装的参考地址。

@目录

spark底层是spark core是核心。
其余的模块都是基于core实现的。

sql： 操作结构化数据的一个模块。

流式数据处理

scala 环境安装：
参考地址：https://blog.youkuaiyun.com/csdn_dengfan/article/details/88363224

spark笔记整理文档
01-18
本篇笔记将深入探讨Spark的核心概念、架构设计以及实际应用，旨在帮助读者全面理解并掌握Spark。 1. Spark概述： Spark最初由加州大学伯克利分校AMPLab开发，其设计理念是提供一个快速、通用且可扩展的大数据处理...
spark笔记.zip
04-23
"Spark笔记"可能涵盖了以下几个关键知识点： 1. Spark架构：Spark采用Master-Worker模式，Master节点管理任务调度，Worker节点运行任务。Spark的核心组件包括Driver、Executor和Cluster Manager。Driver负责解析并...
spark笔记
小小晓晓阳的博客
03-29 1102
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎；Spark提供内存计算，将计算结果直接放在内存中，减少了迭代计算的IO开销，有更高效的运算效率。1.1 Spark核心模块1.2 基本概念：弹性分布式数据集的简称，分布式内存的一个抽象概念，提供了一种高度受限的共享内存模(可以看作一个不可变的分布式对象集合)：有向无环图的简称，反映RDD之间的依赖关系：是运行在工作节点（WorkerNode）的一个进程，负责运行Task：用户编写的Spark应用程序：运行在Executor上的工作单元。
Spark笔记
m0_74459849的博客
05-11 661
（3）first()/head()/take()/takeAsList()：获取若干条记录。方式2：var gsj:Array[String] = Array(元素1,元素2,…(2)select()/selectExpr()/col()/apply()方法。(4)collect()/collectAsList():获取所有数据。takeAsList(n):获取前n条记录,并以列表的形式展现。limit():获取指定DataFrame数据的前n条记录。15.使用键值对RDD的groupByKey()方法。
Spark 笔记
ijwwio的博客
01-17 1526
初识 是用于大数据处理的集群计算框架，Spark并没有以 MapReduce 作为执行引擎，而是使用了它自己的分布式运行环境在集群上执行工作。Spark最突出的表现在于它能够将作业与作业之间产生的大规模的工作数据集存储在内存中。即使你不需要在内存中进行缓存，Spark还会因为其出色的 DAG 引擎和用户体验而具有吸引力。与 MapReduce 不同，Spark 的 DAG 引擎可以处理任意操作流水线，并为用户将其转换为单个作业。Spark 还是用于构建分析工具的出色平台。为此，Apache Spark项目包
Spark入门笔记
Wai0210的博客
01-30 624
学习Spark时的一些笔记，分享给大家
Spark笔记-06
shadown7z的博客
06-12 382
Spark笔记-06
Spark复习笔记
kuyuguoheqi的博客
07-11 731
Spark是一个基于内存计算的大数据并行计算框架，是对MapReduce计算模型的扩展。应用层：Spark Streaming数据处理引擎：Spark Core资源管理层：YARN数据存储层：HDFSSpark Core是Spark生态系统的核心组件，是一个分布式大数据处理框架。Spark Core提供了多种资源调度管理 Scala中使用Unit表示无返回值。定长数组长度不变，不能增删，只能修改某个位置的元素值，需要拥有相同的元素类型。下标从0开始。 变长数组长度可变，可以增删 toBuffer和toArr
大数据spark笔记.zip
12-22
spark项目：数组也是一种复杂数据类型，表示一组有序的值的列表，可以通过数值索引来访问其中的值。数组的值也可以是任意类型——简单值、对象或数组 JSON数组也没有变量和分号，把数组和对象结合起来，可以构成...
Spark笔记1
08-08
根据“Spark笔记1”的描述，要在Hadoop集群上运行Spark任务，首先需要确保Spark能够正确识别到Hadoop集群。这通常涉及到一些环境变量的设置，例如： - `YARN_HOME`: 指定Hadoop的安装路径。 - `YARN_CONF_DIR`: 指定...
pyspark3.5给paimon1.2的表打tag报错 spark_catalog is not a ProcedureCatalog
最新发布
yy的博客
12-04 166
执行 spark.sql("CALL sys.create_tag(`table` => 'pipeline.bigdata_biz.tb1', tag => 'tag_${last1day_dt}')" )报错:java.lang.RuntimeException: spark_catalog is not a ProcedureCatalog.at org.apache.paimon.spark.catalyst.analysis.PaimonProcedureResolver$CatalogValid
CDH 6.3.2 集群外挂 Spark 3.5.7 (Paimon) 集成 Hue 实战指南
QXXDYL的博客
12-04 579
由于 CDH 默认环境未变更，原有的hive命令依然指向旧版本。针对 .sql 脚本的调度，需采用以下替代方案。
Linux单机部署spark
hahai_的博客
12-01 188
本文介绍了在Linux系统上单机部署Spark的步骤：首先确保已安装Java17环境，然后从官网或镜像站下载Spark安装包并上传至服务器解压。接着通过修改/etc/profile文件配置环境变量，添加SPARK_HOME和PATH路径。最后执行source命令刷新环境变量，并通过运行spark-shell命令验证安装是否成功。该部署流程适用于Spark 3.5.7版本，帮助用户快速搭建本地Spark开发环境。
Spark解析JSON字符串
Appreciate(欣赏)
12-03 175
【代码】Spark解析JSON字符串。
CDH 6.3.2 集群外挂部署 Spark 3.5.7 连接 Paimon 1.1.1 （一）
QXXDYL的博客
12-04 252
为了解决如上出现的问题，需要在CDH 6.3.2 版本上编译支持java8，能对paimon 1.1.1 的表进行增删改查等操作。为了解决CDH 6.3.2 默认的 Hive sql on Spark 和 Spark sql （Spark版本为2.4.0）无法写入修改Paimon 1.1.1 版本的表格数据的问题。在终端执行下述语句，用于验证hive sql on spark对paimon表数据的更新操作。发现插入数据出现报错，因此hue上不能进行数据的插入，因此我在Flink SQL进行数据的插入。
Spark分桶表实战：如何用分桶减少 40%+ 计算时间
涤生大数据
11-30 455
今年校招面试spark的分桶表这块问的比较多一些，今天借此给小伙伴搞个案例讲讲哈！ 分桶本质上是对文件的划分，其执行逻辑是对分桶key的hash值对桶个数取模，在大表join场景的主要优化逻辑在于通过预先设置分桶+排序，其执行效率得以提高有两个重要原因：避免走Shuffle以及不用在内存中保存Hash数据结构。
星火链智：领码SPARK融合平台与湖北数据知识产权综合服务平台全栈对接技术白皮书
领码SPARK - 以无代码之星火，燎原数字之未来！
12-01 1247
本文系统阐述了领码SPARK融合平台与湖北省数据知识产权综合服务平台的技术对接体系，基于iPaaS+aPaaS双引擎架构设计，构建"数据-协议-安全-AI"四维协同模型。通过元数据驱动智能映射、零信任安全网关、多模态协议适配器及AI增强质量检测等核心技术，实现知识产权数据资产的标准化封装、合规化流通与智能化服务。全文涵盖对接架构设计、数据格式转换、安全认证机制、AI赋能实践及实施路线图，为政务数据要素市场化配置提供可落地的技术范式。
Spark
士心凡
12-04 509
Shuffle指的是集群范围内跨节点、跨进程的数据分发。之前学的几个算子比如map，filter，mapPartition，flatmap都是用于RDD内部的数据转换，不会引入Shuffle计算而groupByKey，sortByKey，reduceByKey，aggregateByKey都会引入Shuffle计算，并且这些算子只可以作用在paired（KV）RDD上。这是最核心的瓶颈。Map 端必须将中间结果写入磁盘以保证容错，而 Reduce 端又必须从磁盘读取这些文件。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值