Spark core 原理(一)

关注

原创最新推荐文章于 2026-08-26 21:15:41 发布 442 阅读 AI 写同款· GEO 优化 ›

CANoe LIN一致性测试之干扰测试Test moudle_LIN Disturbance Block 注意：相邻两个显隐性不同的bit不允许干扰，例如我同时选择bit6和bit7，相邻两个同显隐性的bit允许干扰，例如当我选择bit3和bit4，项，这里我选择ID：为0x2F（PID：0x6F）的frame。需按照具体测试规范实施干扰项，帧头和数据段都可以实现干扰。最近发现一个干扰测试模块，下面是一些具体使用方法。选择干扰项：PID的奇偶校验位（一致性测试干扰测试之手动测试。一个待测试frameD。阅读详情

Spark core 原理

1.弹性分布式数据集（RDD）

1.1概念

数据集：需要运算的数据集合
分布式的：
Spark加载的数据都是以分区的形式存储在各个节点上的，各个节点的分区组合在一起就是一个RDD，所以它是分布式的。
基于内存的（弹性的）：
Spark在进行数据的转换或者计算的时候都是在内存中完成的，如果内存资源不够的话，那么它就会在磁盘中进行计算。

在这里插入图片描述

1.2程序解析

程序代码

package com.terry.sparkcore
import org.apache.spark.{SparkConf, SparkContext}

object WorldCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("WorldCount")
      .setMaster("local[4]")
    val sc = new SparkContext(conf)
    val filePath="C:/Users/wwlh/Desktop/gitTest/window/test.java"
    val fileRdd = sc.textFile(filePath,4)
    val words = fileRdd.flatMap(lines => lines.split(" ")).filter(word => word!=" ")
    val wordcount = words.map(x=>(x,1)).reduceByKey(_+_)
    wordcount.foreach(x=>{println(x)})
    Thread.sleep(9999999)
    sc.stop()
  }

}

代码工作流程
在这里插入图片描述