docsz的博客

SPARK提交任务脚本

flink和spark的区别

1、修改pom文件 <spark.version>3.1.1</spark.version> <scala.binary.version>2.12</scala.binary.version> <scala.version>2.12.10</scala.version> <hadoop.version>3.2.2</hadoop.version> <guava.version&g

SparkStreaming的核心思路：把无边界的数据流抽象成DStream，在时间方向上，按照某个指定的时间间隔，把DStream切割成一个离散的RDD的序列，然后每一个都交给spark执行引擎进行处理。SparkStreaming的编程套路：1、获取编程入口：StreamingContext2、通过StreamingContext构建第一个DStream3、对于DStream进行各种...

1：MemoryManagerorg.apache.spark.memory.MemoryManagerspark为存储内存和执行内存的管理提供了统一的接口–MemoryManager，同一个Executor内的任务都调用这个接口的方法来申请或释放内存。—>进入后Ctr + H 查看实现类：StaticMemoryManager：执行内存和存储内存相互之间不能占用UnifiedM...

1：Executor线程池 // Start worker thread pool private val threadPool = { val threadFactory = new ThreadFactoryBuilder() .setDaemon(true) .setNameFormat("Executor task launch worker-%d...

1：参考文档（1）美团技术团队—>文章归档—>2016年4月份Spark性能优化指南——基础篇https://tech.meituan.com/2016/04/29/spark-tuning-basic.htmlSpark性能优化指南——高级篇https://tech.meituan.com/2016/05/12/spark-tuning-pro.html（2）谷歌浏览器...

1：编写spark的WordCount程序object WordCount {def main(args: Array[String]): Unit = {//创建spark配置val conf = new SparkConf().setAppName("ScalaWordCount")//创建spark入口val sc = new SparkContext(conf)//指定以后从...