spark平时的一些笔记

最新推荐文章于 2024-09-24 14:16:36 发布
原创 最新推荐文章于 2024-09-24 14:16:36 发布 · 725 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析了Spark启动参数的配置及其在YARN环境下的应用，包括脚本部分、Scala程序部分以及OnYarn启动过程。通过具体实例，帮助开发者掌握Spark在分布式计算环境中的高效部署。

1. spark-1.1.0 启动参数分析——脚本部分

https://app.yinxiang.com/shard/s30/sh/85ead262-6015-4d17-9d45-9b61bf912270/5989a2568b80f0543f801beb2ec0c7fa


2.  spark-1.1.0 启动参数分析——scala程序部分SparkSubmitArguments.scala

https://app.yinxiang.com/shard/s30/sh/2828f11f-226f-4dd6-8444-590c04de6edb/ff0acce99b8fe96c2c1baebf541e0c7d


3. spark-1.1.0 启动参数分析——scala程序部分SparkSubmit.scala

https://app.yinxiang.com/shard/s30/sh/ebd2ea60-0a56-4f19-a02a-d3ef4c1ef528/5af437cb5a0ecb5dec96c650fdb08789


4. spark-1.1.0 On Yarn启动过程

https://app.yinxiang.com/shard/s30/sh/291ffb5d-b559-408d-a8b6-42f9af975862/9d55bb44b78dbc72bf9896dc038d4b30


5.  spark-meetup 深圳

https://app.yinxiang.com/shard/s30/sh/5700bfb3-fbe2-4ce7-8a55-8bb8809ae9d7/e9ab757d4574fc27ab6d99ff780956c5

java8stream源码-Learning-Spark:学习Spark的代码，关于SparkCore、SparkSQL、SparkStrea
06-04
java8 stream 源码 Learning-Spark 学习Spark的代码，关于Spark Core、Spark SQL、Spark Streaming、Spark MLLib 说明 ...基于Hadoop2.6、Spark2.4、Scala2.11、java8...存放平时练习代码 notes存放笔记 Scala 语法点 待续
Spark学习笔记
NotLency的博客
01-26 1931
Spark学习笔记一、Spark是什么？1 Spark的核心组件2 Spark 运行环境2.1 Local 模式2.2 Standalone 模式2.3 配置高可用（HA ）2.4 Yarn 模式2.5 K8S & Mesos 模式2.6 Windows 模式3 Spark 运行架构3.1 运行架构3.2 核心组件3.2.1 Driver3.2.2 Executor3.2.3 Master & Worker3.2.4 ApplicationMaster 一、Spark是什么？ Spark
spark sql笔记1
zzds111的博客
03-08 2820
目录 SparkSql的特点 DataFrame DataSet SparkSql语法 创建DataFrame的方法 SQL语法 DSL语法 RDD、DataFrame、DataSet联系 Spark sql的前身是Shark,Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护。于是后面就分化出了两个框架，一个是SparkSql,一个是hive on spark 与hive和mapred
Spark笔记
最新发布
qq_61732242的博客
09-24 1470
Apache Spark 是一个用于大规模数据处理的快速通用计算引擎，最初由加州大学伯克利分校的 AMPLab 开发，于 2010 年开源。Spark 提供了高效的分布式数据处理功能，支持多种数据处理任务，包括批处理、实时流处理、机器学习和图形处理等。Spark 提供的主要抽象是弹性分布式数据集(RDD)，它是跨集群节点分区的元素集合，可以并行操作。弹性分布式数据集弹性：RDD将来在计算的时候，其中的数据可以是很大，也可以是很小。
Spark on YARN 笔记
thriving_fcl的博客
09-10 1530
一直对hadoop这套局限在会用就好，没有对hadoop生态有个系统性的深入了解，也就导致在用的时候出问题很难找到关键的原因，都得google so 各种找相关信息。所以现在觉得，还是得花一些时间，至少把与平时用到的相关部分的原理、概念理解清楚。只要是用hadoop生态的组件，很多都会用YARN来管理资源与任务分配。而资源分配的合理与否，直接关系到任务的执行效率，甚至决定成功或失败。spark又是现
Spark的笔记
weixin_43637653的博客
11-23 357
#Spark中一些重要的知识点 1、spark-on-yarn的应用场景 ​ 1.因为历史原因，方便运维部门维护，之前用的hadoop 2.用yarn来运行各种任务，相比其他的资源调度系统更稳定，便于升级优化 2、spark-on-yarn的执行流程 ​ spark-on-yarn分为两种运行模式：client和cluster cluster模式： 1.由client向RM提交请求，并上传jar到...
spark复习笔记（一）——RDD
luo981695830的博客
04-20 551
RDD编程模型 在Spark中，RDD被表示为对象，通过对象上的方法 调用对RDD的转换 RDD支持2种操作： 1、transformation 2、action 在spark种几乎所有的transformation操作都是懒执行的 transformation操作并不会立即计算他们的结果，而是记住这个操作 当通过一个action来获取结果返回给驱动程序的时候，这些转换操作才开始计算 这种设计...
大数据笔记--Spark机器学习（第二篇）
我睡觉的时候不困
04-13 3933
一、梯度下降法 二、推荐系统模型 三、ALS算法与显示矩阵分解
spark笔记（二）之RDD常用算子
weixin_44604159的博客
05-16 1475
大家好！下面是我在疫情假期期间学习的saprk算子笔记，刚刚用了一下午的时间把它整理出来分享给大家！码字实属不易如果对你有帮助，记得点赞呦！ 文章目录一.spark行动算子二.spark单value类型三.spark双value类型四.spark算子KV类型 一.spark行动算子 1.reduce( f: (T, T) => T )：通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。 val list1: RDD[Int] = sc.makeRDD(1 to 10) val
spark之transformation算子学习笔记(scala,pyspark双语言)
a_dreaming的博客
12-02 1152
在排序之前，可以将数据通过f函数进行处理，之后按照f函数处理的结果进行排序，默认为正序排列。其中，键值对中的Key为第1个RDD中的元素，Value为第2个RDD中的元素。将两个RDD组合成Key/Value形式的RDD，这里要求两个RDD 的partition数量以及元素数量都相同，否则会抛出异常。rdd1.filter(func)，利用func函数对rdd1里面的每个元素进行操作,保留为true的数据。rdd1.flatMap(func)，利用func函数对rdd1里面的每个元素进行操作，并压平。
大数据与运维学习笔记：Phoenix、Spark、Greenplum实战
“mynotes:平时的笔记”这一资料集合是一个综合性较强的技术学习笔记库，涵盖了大数据技术栈、系统运维、开发工具以及相关框架的基础知识整理。从标题和描述可以看出，这份笔记是作者在长期学习与实践中积累下来的...
JavaSpark bulkLoader批量写Hbase
weixin_41872669的博客
12-09 1365
配置相关代码: String htb_demo1 = “demo1”; //Hbase集群配置信息 Configuration hconf = HBaseConfiguration.create(); hconf.set("fs.defaultFS","hdfs://s1:9000"); hconf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem"); hconf.set("hbase.
ClickHouse docker-compose初试
lzshlzsh的专栏
02-18 3004
介绍 实操 参考资料 -[1]用Docker快速上手Clickhouse -[2]Clickhouse集群应用、分片、复制 -[3]深入理解ClickHouse之5-ClickHouse集群的replica实现方式————数据备份和同一性 ...
OpenTSDB性能测试
lzshlzsh的专栏
01-08 1589
参考资料 TS-Benchmark: a benchmark for time series databases OpenTSDB and HBase rough performance test
shark on yarn udf的使用
lzshlzsh的专栏
06-03 1131
shark udf好称跟hive完全兼容，今天尝试了一下，还真的
Pinpoint调研
lzshlzsh的专栏
01-08 741
笔记 介绍 Pinpoint是一个大型分布式系统的n层架构跟踪平台。特点有五： 分布式事物跟踪用于跟踪分布式应用的消息； 自动检测应用拓扑帮助理解应用架构； 可水平扩展支持大规模集群； 提供代码级可见功能以便发现问题点和瓶颈； 字节码增强技术添加功能无需修改代码。 分布式事物跟踪 基于Google的Dapper论文。Dapper对rpc插桩传递span id和trace id，Pinpoin...
Flink新手初试
lzshlzsh的专栏
02-11 733
参考官方文档[1]，试玩了一下flink，记录整个过程 环境准备 # checkout git仓库 git clone --branch release-1.9 https://github.com/apache/flink-playgrounds.git 目录结构如下，当前只有一个playgroud那就是operations-playground，它让我们可以试玩flink的流式处理作业，...
APM系统调研
lzshlzsh的专栏
02-10 604
参考资料
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值