Alluxio集群部署指南：单Master模式详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00634/article/details/148465164

Alluxio集群部署指南：单Master模式详解

alluxio Alluxio, data orchestration for analytics and machine learning in the cloud 项目地址: https://gitcode.com/gh_mirrors/al/alluxio

前言

Alluxio作为内存加速层，在分布式计算场景中扮演着重要角色。本文将深入讲解如何在集群环境中部署单Master模式的Alluxio系统，帮助用户快速搭建基础测试环境。

核心概念解析

单Master架构特点

单Master架构是Alluxio最简单的部署模式，具有以下特征：

单一控制节点：整个集群由一个Master节点统一管理元数据
简单易部署：配置复杂度低，适合测试验证场景
存在单点故障风险：Master节点故障会导致整个集群不可用

生产环境建议采用高可用(HA)模式部署，本文主要面向开发测试场景。

部署准备

系统环境要求

网络配置
- 确保所有节点间TCP通信畅通
- 默认RPC端口(19998)需要在所有节点开放
- Master节点与Worker节点间需配置SSH免密登录
权限配置
- 运行Alluxio的用户需要具备sudo权限
- 建议配置sudo免密码执行（用于RAMFS自动挂载）
软件准备
- 在所有节点部署相同版本的Alluxio二进制包
- 解压命令示例：
```
tar -xvzpf alluxio-{{version}}-bin.tar.gz
```

集群配置详解

核心配置文件

alluxio-site.properties
在Master节点创建配置文件：

cp conf/alluxio-site.properties.template conf/alluxio-site.properties

必须配置的关键参数：

# Master节点主机名（需确保所有Worker可访问）
alluxio.master.hostname=<MASTER_HOSTNAME>

# 底层存储系统URI
alluxio.master.mount.table.root.ufs=<STORAGE_URI>

存储系统URI示例：

HDFS：hdfs://namenode:9000/alluxio/root/
S3：s3://bucket-name/dir/

节点列表文件
- conf/masters：记录Master节点主机名
- conf/workers：记录Worker节点主机名
示例格式：
```
# conf/masters
master-node1.example.com

# conf/workers
worker-node1.example.com
worker-node2.example.com
```

配置同步

使用内置工具将配置同步到所有节点：

./bin/alluxio copyDir conf/

集群启动流程

初始化步骤

格式化Journal
首次启动前必须执行：
```
./bin/alluxio formatMasters
```
注意：此操作会清空Alluxio元数据，但不影响底层存储数据
启动集群
在Master节点执行：
```
./bin/alluxio-start.sh all SudoMount
```
- SudoMount参数允许自动挂载RAMFS

验证集群

Web UI检查
访问http://<master_host>:19999查看集群状态
运行测试用例
```
./bin/alluxio runTests
```

运维操作手册

日常管理命令

| 操作类型 | 命令示例 | 说明 | |---------|---------|------| | 停止集群 | ./bin/alluxio-stop.sh all | 停止所有节点服务 | | 启动Master | ./bin/alluxio-start.sh master | 单节点启动Master | | 启动Worker | ./bin/alluxio-start.sh worker | 单节点启动Worker |

动态扩缩容

添加Worker节点
- 在新节点配置相同环境
- 执行：
```
./bin/alluxio-start.sh worker SudoMount
```
移除Worker节点
- 在目标节点执行：
```
./bin/alluxio-stop.sh worker
```
- Master会在超时后自动将其标记为失效