Doris集群安装环境初始化详解

1、关闭交换分区
处理大规模数据通常需要较大的内存。关闭交换分区可以确保系统更多地使用物理内存，提高内存利用率，从而改善查询性能和系统响应速度。
避免交换开销：当系统的物理内存不足时，操作系统会将一部分内存数据写入交换分区，以释放物理内存供其他进程使用。
这个过程涉及磁盘IO操作，会导致延迟增加，对OLAP 等需要低延迟数据访问的系统来说是不利的。
通过关闭交换分区，可以避免这种交换开销，提高数据访问的实时性和性能。
配置修改：
sudo vim /etc/sysctl.conf
vm.swappiness = 0
sudo sysctl -p

2、配置内存超额分配
设置操作系统允许内存超额分配，从而确保在Doris需要更多内存时，可以快速的获取内存资源。
配置修改：
sudo vim /etc/sysctl.conf
vm.overcommit_memory = 1
sudo sysctl -p

3、禁用透明大页
透明大页 (Transparent Huge Pages, THP) 是 Linux 系统中用于提高内存管理效率的一种机制。
它会自动将常规大小的内存页（通常是4KB）组合成大页（通常是2MB或更大），以减少页表的大小并提高内存访问的效率。
在使用Doris时，透明大页可能会引起性能问题，特别是在内存分配和回收方面。
因为大页的回收比常规页的回收更耗时，所以在内存紧张的情况下，使用大页可能会导致更高的延迟。
建议关闭透明大页，以避免上述的性能问题和内存浪费。
配置修改：
1:临时生效
echo madvise > /sys/kernel/mm/transparent_hugepage/enabled
2: 永久生效(需要重启机器)
vim /etc/default/grub
#在GRUB_CMDLINE_LINUX字段所在一行，在末尾添加 transparent_hugepage=madvise
GRUB_CMDLINE_LINUX=“crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet transparent_hugepage=madvise”

4、文件最大打开数
在 Linux 系统中，每个进程都有一个最大打开文件数的限制，也就是它可以同时打开的文件和 Socket 的数量。这个限制可以防止程序因为错误而耗尽系统资源。
对于数据库系统，需要提高这个限制。如果达到了最大打开文件数的限制，应用程序可能会因无法打开新的文件或Socket而失败。
在linux系统中，限制了同一会话最大打开文件数量（ulimit -n）与用户能够启动的最大进程数（ulimit -u)，这个限制可以防止程序因为错误耗尽系统资源。
配置修改：
1：通过ulimit -n 655360与ulimit -a命令设置当前缓存生效
2：修改limits.