麒麟V10 SP3系统部署Doris集群

1、确保系统已安装MySQL和JDK8以上环境

2、安装前操作系统设置

修改limits文件,设置系统最大文件打开句柄数

vim /etc/security/limits.conf

## 添加以下内容
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

设置时钟同步

## 下载ntp
yum install ntp -y
vim /etc/ntp.conf

## ntp服务器上添加以下内容:
server 127.127.1.0 iburst
fudge 127.127.1.0 stratum 10
restrict 6.0.64.0 mask 255.255.255.0 nomodify notrap

## ntp客户端添加:
server ntp服务器IP地址 iburst

sudo systemctl start ntpd.service 
sudo systemctl enable ntpd.service

## 查看ntp客户端同步状态
ntpq -p

关闭交换分区

## 临时关闭
swapoff -a  

## 注释掉swap分区后重启系统即可彻底关闭
vim /etc/fstab  

## 查看是否关闭成功
free -m

临时关闭透明大页

echo never> /sys/kernel/mm/transparent_hugepage/enabled
echo never> /sys/kernel/mm/transparent_hugepage/defrag

修改虚拟内存区域数量

vim /etc/sysctl.conf
## 添加以下内容
fs.file-max = 6553560
vm.max_map_count = 2000000


## 执行生效
sysctl -p

关闭防火墙

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

3、安装Doris

解压doris安装包并改名

tar -zxf apache-doris-2.1.8.1-bin-x64.tar.gz -C /opt/
cd /opt/
mv apache-doris-2.1.8.1-bin-x64/ doris

4、配置fe

 创建元数据目录

mkdir -p /data/doris-meta

修改fe配置文件

vim /opt/doris/fe/conf/fe.conf

JAVA_OPTS的-Xmx 建议调整为16G以上
## 设置大小写不敏感
lower_case_table_names = 1 
## 设置元数据存放目录
meta_dir = /data/doris-meta
设置网络CIDR,根据网络IP地址指定
priority_networks = 节点ip/24
## 设置jdk环境安装目录
JAVA_HOME = /home/doris/jdk-11.0.2

启动单个fe

/opt/doris/fe/bin/start_fe.sh --daemon

启动fe,并添加进集群

alter system add follower "节点ip:9010";
/opt/doris/fe/bin/start_fe.sh --helper 存活的follower节点ip:9010 --daemon

查看fe集群状态

mysql -uroot -P9030 -h主节点ip
show frontends\G;

5、配置be

创建存储目录

mkdir -p /data/doris-storage

修改be配置文件

vim /opt/doris/be/conf/be.conf

JAVA_OPTS的-Xmx 建议调整为2G以上
## 设置网络CIDR,根据网络IP地址指定
priority_networks = 节点ip/24
## 设置jdk环境安装目录
JAVA_HOME = /home/doris/jdk-11.0.2
## 设置数据存储目录
storage_root_path = /data/doris-storage

启动be

/opt/doris/be/bin/start_be.sh --daemon

注册be节点

mysql -uroot -P9030 -h主节点ip
alter system add backend "节点ip:9050";

## 查看be集群状态
show backends\G;
### 关于Apache Doris集群安装部署指南 #### 一、背景介绍 Apache Doris 是一种基于MPP架构的OLAP数据库,因其高效的数据查询能力和便捷的操作特性而受到广泛欢迎。为了帮助更多有兴趣了解或测试Doris的人士减少入门障碍,社区提供了三种不同的构建与安装方案供选择,并附带详细的文档和支持材料[^1]。 #### 二、准备工作 在开始之前,请确认已经准备好如下条件: - 支持Linux系统的服务器若干台; - 已经获取到官方发布的最新版Doris源码包或者是预编译好的二进制文件; - 对目标机器拥有管理员权限以便执行必要的配置更改操作。 #### 三、环境准备 对于那些可能需要频繁更换工作地点或是网络连接不稳定的情况下,建议采用NAT模式来设置虚拟机中的网卡,这样可以避免因为物理位置变化而导致IP地址冲突等问题的发生[^4]。 #### 四、具体步骤 以下是简化后的安装流程概述: ##### 1. 下载软件包 前往官方网站下载页面找到适合自己平台版本的压缩包并解压至指定目录下。 ##### 2. 修改配置文件 编辑`conf/fe.conf` 和 `be/conf/be.conf`, 设置合适的参数值比如端口号, 日志级别等. ##### 3. 初始化元数据存储服务FE(Frontend) 启动前端节点前先初始化内部使用的Meta Store. ```bash ./bin/start_fe.sh --daemon=false --init=true ``` ##### 4. 启动BE(Backend)节点 依次开启各个后端计算单元,在每台主机上运行命令: ```bash ./bin/start_be.sh --daemon=false ``` ##### 5. 添加新加入的BE实例到集群中 登录任意一台已有的FE节点通过SQL语句完成注册新增加的服务实例。 ```sql ALTER SYSTEM ADD BACKEND "ip_address"; ``` ##### 6. 测试验证 最后可以通过简单的SELECT查询来进行功能性的检验,确保所有组件正常协作运作。 以上就是一套较为完整的针对初学者友好的Doris集群快速搭建方法论。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值