2024年大数据最新CDH大数据集群Linux系统参数调优_cdh磁盘刷新 很高，真香

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

系统版本为CentOS 7。

vm.swappiness

设置方法：

• echo 1 > /proc/sys/vm/swappiness，或
• sysctl -w vm.swappiness=1，或
• 编辑/etc/sysctl.conf文件，加入vm.swappiness=1

swap即交换空间，作用类似于Windows中的虚拟内存，也就是当物理内存不足时，将硬盘上的swap分区当做内存来使用。但是，由于磁盘的读写速率与内存相比差太多，一旦发生大量交换，系统延迟就会增加，甚至会造成服务长期不可用，这对于大数据集群而言是致命的。

vm.swappiness参数用于控制内核对交换空间的使用积极性，默认是60。值越高，就代表内核越多地使用交换空间。

对于内存较大的CDH集群，我们一般将这个值设为0或1。0表示只有当可用物理内存小于最小阈值vm.min_free_kbytes（后面会提到）时才使用交换空间，1则表示最低限度地使用交换空间。

关于这个配置的具体机制，找到了两种解释：

• 当物理内存占用率高于(100 - vm.swappiness)%时，开始使用交换分区。
• vm.swappiness通过控制内存回收时，回收的匿名内存更多一些还是回收的文件缓存更多一些来达到这个效果。如果等于100，表示匿名内存和文件缓存将用同样的优先级进行回收，默认60表示文件缓存会优先被回收掉。

vm.min_free_kbytes

设置方法：

• echo 4194304 > /proc/sys/vm/min_free_kbytes，或
• sysctl -w vm.min_free_kbytes=4194304，或
• 编辑/etc/sysctl.conf文件，加入vm.min_free_kbytes=4194304

内存水位线

Linux系统中，剩余内存有3个水位线，从高到低记为high、low和min。并且有如下的关系：

min = vm.min_free_kbytes，low = min * 5 / 4，high = min * 3 / 2。

当剩余内存低于high值时，系统会认为内存有一定的压力。当剩余内存低于low值时，守护进程kswapd就会开始进行内存回收。当其进一步降低到min值时，就会触发系统的直接回收（direct reclaim），此时会阻塞程序的运行，使延迟变大。

因此vm.min_free_kbytes的值既不应过小，也不应过大。如果过小（比如只有几十M），low与min之间的差值就会非常小，极易触发直接回收，使效率降低。而如果设置得过大，又会造成内存资源的浪费，kswapd回收时也会耗费更多的时间。上面的语句中设置成了4G，视物理内存大小，一般设在1G~8G之间。

透明大页面（THP）

设置方法：

• echo never > /sys/kernel/mm/transparent_hugepage/enabled
• echo never > /sys/kernel/mm/transparent_hugepage/defrag

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**