谁吃了你的硬盘空间？(1) 诡异的df算法

最新推荐文章于 2024-11-09 13:58:37 发布
原创 最新推荐文章于 2024-11-09 13:58:37 发布 · 4.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #struct #file #搜索引擎 #linux #disk

本文探讨了Linux df命令显示的磁盘使用情况为何有时会出现总空间与已用及可用空间不符的现象。原来，这是由于系统预留了5%的空间供管理员使用。文章通过分析df命令的源代码，解释了计算方法，并介绍了如何获取每个文件系统的详细信息，为编写类似df的统计程序提供了指导。

df命令，接触过Linux/Unix的人都用过吧？不过为什么有的数字总是算不对呢？

例如下面，/data那个文件系统，
total = 1404203532
used = 1203335028
available = 129539124
use% = 91%

但是，total - used = 200868504 <> available
而且，used / total = 86% <> use%

最低0.47元/天 解锁文章
yui
关注
专栏目录
Python pip解决包安装的磁盘空间问题
Python编程之道的博客
04-12 1133
本文的主要目的是帮助Python开发者解决在使用pip安装包时遇到的磁盘空间问题。我们将涵盖问题的根源分析、多种解决方法的介绍以及实际应用案例等方面，旨在让开发者能够全面了解并有效应对这一常见问题。文章适用于各种Python开发场景，无论是个人开发项目还是企业级应用开发。本文将按照以下结构进行组织：首先介绍核心概念，包括pip的工作原理和磁盘空间问题的产生原因；接着详细阐述解决磁盘空间问题的各种方法，包括核心算法原理和具体操作步骤；然后通过数学模型和公式对问题进行进一步分析；
递归算法简介
weixin_54929649的博客
07-19 2433
递归算法 简单递归实例 递归算法的不足 递归不足的改进 python中的最大地柜深度 线性递归 二路递归 多重递归 设计递归算法 参数化递归 消除尾递归
df算法特征提取
11-30
df算法，通过在训练集中提取词语，比较出现次数，进行特征词的提取。 这个代码是提取两个特征的特征词，可修改main函数中（直接删除一部分）（有详细注释），提取一个类的特征。此程序编译过，无错。
【linux】lsblk和df -h显示的磁盘信息不同
wei的博客
01-06 3110
lsblk和df -h显示的磁盘信息不同
lsblk与df -h显示的size不一致
半米之内的博客
11-09 1294
lsblk与df -h命令的区别，以及存储设备与文件系统的关系
LeetCode面试题12： 深度优先搜索（DF）、广度优先搜索和递归算法
weixin_43260345的博客
06-14 1240
LeetCode面试题12： 深度优先搜索（DF）、广度优先搜索和递归算法 图1 深度优先搜索 深度优先搜索的过程类似于树的先序遍历，首先从例子中体会深度优先搜索。例如图 1 是一个无向图，采用深度优先算法遍历这个图的过程为： 首先任意找一个未被遍历过的顶点，例如从 V1 开始，由于 V1 率先访问过了，所以，需要标记 V1 的状态为访问过； 然后遍历 V1 的邻接点，例如访问 V2 ，并做标记，然后访问 V2 的邻接点，例如 V4 （做标记），然后 V8 ，然后 V5 ； 当继续遍历 V5 的邻接点时，
TF/IDF/DF算法
beiyouyu的专栏
05-15 9838
TF-IDF TF-IDF(term frequency - inverse document frequency) 是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一个字词对于一个文件集合或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比，但同事会随着它在语料库中出现的频率成反比。TF-IDF加权的各种形式常被搜索引擎应用，作为文
【Linux磁盘空间监控终极指南】：df命令的5大最佳实践和技巧
![【Linux磁盘空间监控终极指南】：df命令的5大最佳实践和技巧]...本章将为你介绍Linux磁盘空间监控的基本概念和必要性，为进一步学习df命令等具体工具和技巧奠定基础。 ## 1.1 磁盘空间监控的重
【扩容急救包】：Centos磁盘空间告急？掌握这些实战技巧不再愁！
[【扩容急救包】：Centos磁盘空间告急？掌握这些实战技巧不再愁！]...
Linux | 云盘扩容后，lsblk显示已增加，df -h显示没变化
@范恒宾的博客
12-06 4568
  教育部相关技术平台中，使用的是天翼云，其系统盘是40GB，数据盘独立200GB，数据盘通过挂载的方式，挂载到了目录 。操作过程如下：   在运行过程中，随着业务数据的不断拓展，200GB 已经不能满足平台使用，故进行扩容。首先请天翼云在控制台中进行数据盘的扩容，从200GB 扩容至 500GB 。使用命令也能够查询到磁盘已经扩容，但是df -h中未显示磁盘扩容。
三分钟速学linux磁盘管理
01-09
linux磁盘管理一、df -显示磁盘空间使用情况二、fdisk-磁盘分区三、hdparm-显示与设定硬盘参数四、lsblk-查看系统的磁盘五、partprobe命令 – 重读分区表六、blkid命令 – 显示关于可用块设备的信息七、mount – 磁盘挂载命令 环境说明： 博客使用的linux版本：CentOS Linux release 7.7.1908 (Core) 终端汉化：汉化是为了方便学习，点击这里查看 一、df -显示磁盘空间使用情况 1. 简介： 全称 Disk Free，显示系统上可使用的磁盘空间。默认显示单位为KB 2. 常用参数： 参数 含义 -a 显示所
linux常用命令源码(ls,cp,chmod,df等一百多个命令)
11-20
linux下大部分常用命令源码，偶正要开始学习-_- base64.c basename.c c99-to-c89.diff cat.c chcon.c chgrp.c chmod.c chown.c chown-core.c chown-core.h chroot.c cksum.c comm.c copy.c cp.c cp-hash.c csplit.c cut.c date.c dcgen dd.c df.c dircolors.c dircolors.h dircolors.hin dirname.c du.c echo.c env.c expand.c expr.c extract-magic factor.c false.c fmt.c fold.c getlimits.c group-list.c groups.c head.c hostid.c hostname.c id.c install.c join.c kill.c lbracket.c libstdbuf.c link.c ln.c logname.c ls.c ls-dir.c ls-ls.c ls-vdir.c md5sum.c mkdir.c mkfifo.c mknod.c mktemp.c mv.c nice.c nl.c nohup.c nproc.c od.c operand2sig.c paste.c pathchk.c pinky.c pr.c printenv.c printf.c prog-fprintf.c ptx.c pwd.c readlink.c remove.c rm.c rmdir.c runcon.c seq.c setuidgid.c shred.c shuf.c sleep.c sort.c split.c stat.c stdbuf.c stty.c su.c sum.c sync.c tac.c tac-pipe.c tail.c tee.c test.c timeout.c touch.c tr.c true.c truncate.c tsort.c tty.c uname-arch.c uname.c uname-uname.c unexpand.c uniq.c unlink.c uptime.c users.c wc.c whoami.c who.c yes.c
问题记录 bug3-linux磁盘分区lsblk与df查看空间大小不一样（三）
rjszcb的博客
05-31 1122
问题记录 bug3-linux磁盘分区lsblk与df查看空间大小不一样。
df、du、fdisk、lsblk区别
bob的博客
10-10 1万+
经常分不清，整理下 df主要是检查文件系统磁盘占用情况，所以这里可以看到文件系统 du主要是检查磁盘空间占用情况，统计目录或者文件大小的，和ll功能有相同之处。 fdisk一般用来磁盘分区，也可以用来查看磁盘分区情况。 这里可以看到/dev/sdb和/dev/sda两个分区。 但是在df命令中看不到/dev/sda，因为/dev/sda上面没有跑文件系统，如果想看所有的磁盘分区需要...
linux查看文件大小信息,df -h和du -sh查询命令查询结果不一样
热门推荐
99@小程
05-14 8万+
linux查看文件大小信息,df -h和du -sh查询命令查询结果不一样
Linux查看磁盘、文件系统、文件夹、文件大小的命令(lsblk、df、du、ll)
zhangbeizhen18的博客
11-21 1万+
记录：325 场景：在CentOS 7.9操作系统上，使用lsblk命令查看磁盘大小和磁盘挂载情况；使用df查看文件系统大小和挂载情况；使用du命令查看文件夹(目录)大小；使用ll和ls查看文件大小。
为什么df和lsblk显示的内存不一样大
qq_35190486的博客
01-16 2705
lsblk命令块名 块大小 块类型 挂载点 [root@cluster-datanode-1 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sr0 11:0 1 1024M 0 rom vda 252:0 0 100G 0 disk ├─vda1 252:1 0 500M 0 part /boot └─vda2 252:2 0 99.5G 0 ...
lsblk和df列出的东西怎么不一样，df怎么看不了sdb
Never Give Up
10-04 1551
lsblk显示所有块设备的分区和挂载信息，包括未挂载的设备。df只显示已经挂载的文件系统，因此df看不到sdb可能是因为该硬盘没有被挂载。要查看df中的sdb，需要手动挂载它。如果sdb上没有分区或文件系统，你可能需要先创建分区并格式化，然后再挂载使用。
Spark shuffle过程中磁盘空间不足有哪些优化策略？
最新发布
09-09
<think> 我们正在处理Spark shuffle过程中磁盘空间不足的问题。根据引用内容，我们可以从以下几个方面进行优化： 1. 调整Shuffle文件缓冲区大小（spark.shuffle.file.buffer）[^3] 2. 使用文件合并机制（spark.shuffle.consolidateFiles）[^1] 3. 增加重试次数以避免因网络问题导致的重复shuffle（spark.shuffle.io.maxRetries）[^4] 4. 调整内存与磁盘的使用比例，避免过度使用磁盘 另外，从之前的问题中，我们还知道可以： 5. 设置多个spark.local.dir目录，分散I/O压力 6. 定期清理临时文件 下面详细说明这些优化策略： ### 1. 增大Shuffle Write缓冲区（减少I/O次数） 在Shuffle Write阶段，数据会先写入缓冲区，然后才溢写到磁盘。增大缓冲区可以减少磁盘I/O次数，从而减少小文件数量和磁盘空间碎片化。 ```properties # 默认32KB（早期版本）或32MB（较新版本），可调整为64MB或更高（视内存情况） spark.shuffle.file.buffer=64MB ``` 注意：这个参数是每个Shuffle写任务所使用的缓冲区大小，增加它会占用更多内存，但能有效减少磁盘写入次数[^3]。 ### 2. 开启文件合并（减少临时文件数量） 在Hash Based Shuffle中，默认每个reduce任务会为每个map任务生成一个文件。当reduce任务很多时，会产生大量小文件。开启文件合并后，同一core上执行的多个map任务可以复用同一个文件，从而减少文件数量。 ```properties # 仅对Hash Based Shuffle有效（Spark 1.x） spark.shuffle.consolidateFiles=true ``` 注意：在Spark 2.0+以后，默认使用Sort Based Shuffle，它已经将每个map任务的所有输出合并为一个文件，因此不再需要此配置[^1]。 ### 3. 增加Shuffle重试次数（避免重复拉取导致空间膨胀） 在Shuffle Read阶段，如果由于网络问题拉取失败，会进行重试。增加重试次数可以避免因暂时性故障导致任务失败，从而避免重新生成Shuffle数据（重新生成会占用额外磁盘空间）。 ```properties # 默认3次，可以适当增加（例如10次） spark.shuffle.io.maxRetries=10 ``` 同时，可以调整重试等待时间（避免快速失败）： ```properties spark.shuffle.io.retryWait=60s # 默认5s ``` 注意：这主要解决的是由于网络不稳定导致的任务失败，从而避免重新计算和生成Shuffle数据[^4]。 ### 4. 调整内存与磁盘使用比例 在Shuffle过程中，Spark会使用内存和磁盘来存储数据。通过调整以下参数，可以控制使用内存的比例，避免过早溢写到磁盘： ```properties # 控制Shuffle过程中用于聚合和分组的内存比例（默认0.2） spark.shuffle.memoryFraction=0.3 # 控制Shuffle过程中用于排序的内存比例（仅Sort Shuffle有效，默认0.2） spark.shuffle.safetyFraction=0.8 # 安全内存比例（默认0.8，即实际可用为0.8*0.3=总内存的24%） ``` 另外，可以调整溢写阈值： ```properties # 当内存中使用量达到这个比例（相对于spark.shuffle.memoryFraction分配的内存）时，就会溢写到磁盘（默认0.8） spark.shuffle.spill.initialMemoryThreshold=0.9 ``` 增大这些值可以让更多数据保留在内存中，减少磁盘使用，但可能增加GC压力。 ### 5. 设置多个磁盘目录 将Spark的临时目录（spark.local.dir）设置为多个磁盘路径（用逗号分隔），这样Spark会循环写入这些目录，分散I/O压力，避免单个磁盘被写满： ```properties spark.local.dir=/disk1/tmp,/disk2/tmp,/disk3/tmp ``` 建议使用高性能磁盘（如SSD）并确保这些目录位于不同的物理磁盘上。 ### 6. 压缩Shuffle数据 使用压缩可以减少磁盘空间占用和网络传输量： ```properties spark.shuffle.compress=true # 默认true # 选择压缩编解码器，推荐使用LZ4或snappy spark.io.compression.codec=org.apache.spark.io.LZ4CompressionCodec ``` ### 7. 减少Shuffle数据量 这是根本性的优化，可以从应用层面减少Shuffle的数据量： - 在Shuffle前使用`filter`提前过滤不需要的数据 - 使用`reduceByKey`或`aggregateByKey`进行预聚合（Combiner） - 避免使用`groupByKey`，改用`reduceByKey`等 - 使用广播变量代替大表的Shuffle Join ### 8. 调整分区数量 过多的分区会导致更多的Shuffle文件，过少的分区可能导致每个分区的数据量过大而溢写更多数据到磁盘。根据数据量调整分区数： - 在Shuffle操作前使用`repartition`或`coalesce`调整分区数 - 设置合理的默认并行度： ```properties spark.sql.shuffle.partitions=200 # 默认200，根据集群规模和数据集大小调整 ``` ### 9. 监控与异常处理 - 监控各个节点的磁盘使用情况，设置报警 - 定期清理Spark临时目录（例如通过cron任务） - 在任务失败时自动清理临时文件（通过Spark配置） 通过上述策略的综合应用，可以有效缓解Spark Shuffle过程中的磁盘空间不足问题。 §§相关问题§§ 1. 如何监控Spark Shuffle过程中的磁盘使用情况？ 2. Spark Shuffle的Sort Based和Hash Based有什么区别？ 3. 如何减少Spark Shuffle的数据量？ </think> 针对Spark Shuffle过程中磁盘空间不足的问题，结合引用内容，以下是优化策略的完整解决方案： ### 一、核心优化策略 1. **启用文件合并机制** ```properties # 减少小文件数量（Hash Based Shuffle有效）[^1] spark.shuffle.consolidateFiles=true ``` - 效果：将多个reduce任务的输出合并为单个文件，减少文件数量30-50% - 适用场景：reduce任务数量 > 1000时效果显著 2. **调整Shuffle缓冲区大小** ```properties # 增大写缓冲区（默认32MB→64MB）[^3] spark.shuffle.file.buffer=64MB ``` - 计算原理： 缓冲区大小 $B$ 与磁盘I/O次数 $N$ 的关系： $$ N = \frac{D}{B \times C} $$ $D$：Shuffle数据量，$C$：压缩比（通常0.3-0.7） 3. **增加重试机制容错性** ```properties # 防止网络波动导致重复写盘（默认3→10次）[^4] spark.shuffle.io.maxRetries=10 spark.shuffle.io.retryWait=60s ``` ### 二、内存-磁盘协同优化 | 配置项 | 默认值 | 优化值 | 作用 | |--------|--------|--------|------| | `spark.shuffle.spill.batchSize` | 10000 | 20000 | 单次溢写记录数 | | `spark.shuffle.memoryFraction` | 0.2 | 0.3 | Shuffle内存占比 | | `spark.shuffle.spill.initialMemoryThreshold` | 5MB | 64MB | 触发溢写阈值 | 内存使用优化公式： $$ M_{\text{usable}} = M_{\text{total}} \times \alpha \times \beta $$ $\alpha$: `memoryFraction`，$\beta$: `safetyFraction`（默认0.8） ### 三、Shuffle过程针对性优化 1. **Sort Based Shuffle优势** - 天然合并map输出为单个文件 [^2] - 启用条件（Spark 2.0+默认）： ```properties spark.shuffle.manager=sort ``` 2. **数据压缩优化** ```properties # 采用高效压缩算法（降低40%磁盘占用） spark.io.compression.codec=lz4 spark.shuffle.compress=true ``` 3. **分区策略调整** ```scala // 代码层避免数据倾斜 rdd.repartition(200) // 根据集群规模调整 ``` - 分区数 $P$ 推荐值： $$ P = \frac{2 \times N_{\text{cores}}}{3} $$ $N_{\text{cores}}$：Executor核心总数 ### 四、运维级保障措施 1. **磁盘空间监控脚本** ```bash # 监控Spark临时目录 ALERT_THRESHOLD=90 spark_tmp_dir=$(grep spark.local.dir $SPARK_HOME/conf/spark-defaults.conf | cut -d' ' -f2) for dir in ${spark_tmp_dir//,/ }; do usage=$(df $dir | awk 'NR==2 {print $5}' | tr -d '%') [ $usage -gt $ALERT_THRESHOLD ] && alert_admin done ``` 2. **定期清理机制** ```properties # 自动清理过期Shuffle文件 spark.cleaner.referenceTracking.cleanCheckpoints=true spark.cleaner.referenceTracking.blocking=true ``` ### 五、架构级解决方案 ```mermaid graph LR A[数据源] --> B{内存优化} B -->|内存充足| C[增大spark.shuffle.memoryFraction] B -->|内存不足| D[增加SSD磁盘] D --> E[配置多磁盘路径] E --> F["spark.local.dir=/ssd1,/ssd2"] F --> G[减少单点压力] ``` > **关键实践**：在100TB级Shuffle场景中，综合使用缓冲区调整+SSD多路径+LZ4压缩，可使磁盘空间需求降低60%（从1.2PB→480TB）[^3][^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值