无声的博客

本文介绍一些实际工作中常用的一些参数。spark版本：spark3.3.1。

sed -i ‘s/\r$//’ test.sh

log4j.rootCategory=ERROR, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m

【代码】Spark读写数据（文本、Object、SequenceFile、Hbase）

Cluster模式将用于监控和调度的Driver模块启动在Yarn集群资源中执行1.在YARN Cluster模式下，任务提交后会和ResourceManager通讯申请启动ApplicationMaster，2.随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster，此时的ApplicationMaster就是Driver。3.Driver启动后向ResourceManager申请Executor内存，ResourceMan.

Spark算子使用大集合package com.atguigu.sparkTest.RDDSimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.shell.Commandimport org.apache.hadoop.fs.{FileSystem, Path}import org.apache.spark.rdd.RDDimport org.apache.spark.{HashPartitioner, P