5.2 MORE ON MEMORY PARALLELISM

本文详细阐述了DRAM突发、banks和channels在现代处理器内存系统中的作用,以及它们如何通过并行组织提高数据传输带宽。文章强调了线程执行与内存组织的相互影响,以及如何通过优化分布策略实现高效利用内存资源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

正如我们在第5.1节中解释的那样,DRAM突发是一种并行组织形式:在DRAM核心阵列中并行访问周围的多个位置。然而,仅靠bursting不足以实现现代处理器所需的DRAM访问带宽水平。DRAM系统通常采用另外两种形式的并行组织——banks and channels。在最高级别,处理器包含一个或多个通道。每个通道都是一个带有总线的内存控制器,该总线将一组DRAM组连接到处理器。图5.7说明了一个包含四个通道的处理器,每个通道都有一个将四个DRAM组连接到处理器的总线。在实际系统中,处理器通常有一到八个通道,每个通道都连接到大量bank。
在这里插入图片描述
总线的数据传输带宽由其宽度和时钟频率定义。**现代双数据速率(DDR)总线每个时钟周期执行两个数据传输器,一个在上升边缘,一个在每个时钟周期的下降边缘。**例如,时钟频率为1 GHz的64位DDR总线的带宽为8B21 GHz=16GB/秒。这个数字似乎很大,但对于现代CPU和GPU来说往往太小了。现代CPU可能需要至少32 GB/S的内存带宽,而现代GPU可能需要128 GB/s。在这个例子中,CPU需要2个通道,GPU需要8个通道。

对于每个通道,连接到它的bank数量由充分利用总线数据传输带宽所需的 bank 数量决定。图5.8中说明了这一点。每个库包含一个DRAM单元阵列,用于访问这些单元的传感放大器,以及向总线传输突发数据的接口(第5.1节)。

### 设置 Spark 默认并行度为 400 的方法 在 Spark 中,可以通过多种方式设置默认的并行度(`default parallelism`)。以下是几种常见的配置方法: #### 方法一:通过 `spark.default.parallelism` 参数 可以在 Spark 配置文件或启动应用程序时指定该参数来设置全局默认并行度。具体操作如下: - 如果使用的是 Spark Shell 或其他交互环境,在启动命令中加入以下选项即可完成配置: ```bash --conf spark.default.parallelism=400 ``` - 对于集群模式下的作业提交,也可以通过 `--conf` 参数传递给 `spark-submit` 工具[^1]。 #### 方法二:修改 Spark 配置文件 对于长期运行的任务或者固定部署场景,可以编辑 Spark 的配置文件 `spark-defaults.conf` 并添加以下内容: ```properties spark.default.parallelism 400 ``` 保存更改后重启 Spark 应用程序以使新配置生效[^3]。 #### 方法三:动态调整 Shuffle 分区数量 除了上述静态设定外,还可以针对特定任务灵活控制其分区数目。例如当执行 SQL 查询语句前可临时改变 shuffle partitions 数量至目标值 (此处设为400),即执行下面这条指令之前的所有后续shuffle操作都将采用新的定义好的partition count: ```sql SET spark.sql.shuffle.partitions=400; ``` ### 处理与优化性能问题 即使设置了较高的初始并行级别也可能遇到某些特殊情况比如数据分布不均等问题影响整体效率表现。此时就需要借助更高级别的特性来进行进一步微调: #### 开启自适应查询执行(AQE) 启用 AQE 功能可以帮助系统自动识别潜在的数据倾斜状况并对之采取相应措施而无需人工干预过多细节部分。主要涉及以下几个关键参数调节: - **开启AQE**: 将 `spark.sql.adaptive.enabled=true` 添加到您的应用配置当中去激活整个机制。 - **处理倾斜连接** : 启用 skew join 自动检测和缓解策略,确保相关联表间存在显著差异大小关系时候能够有效应对可能出现的大规模重复计算现象. * 设定阈值判断标准:`spark.sql.adaptive.skewJoin.skewedPartitionFactor`=X(推荐保持原厂预设5不变除非特殊需求); * 明确触发条件界限: `spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes`=Y字节单位表示达到多少容量以上才被认定属于严重失衡范畴值得特别对待. 这些做法共同作用之下往往能带来较为明显的提速效果同时减少资源浪费情况发生概率[^4]. ### 示例代码片段展示如何初始化带有定制化属性的对象实例 ```scala import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession val conf = new SparkConf() .setAppName("CustomParallelismApp") .setMaster("local[*]") .set("spark.default.parallelism", "400") val spark = SparkSession.builder.config(conf).getOrCreate() // 执行业务逻辑... println(s"Current default parallelism is set to ${spark.conf.get("spark.default.parallelism")}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值