Baidu Galaxy 项目常见问题解决方案

Baidu Galaxy 项目常见问题解决方案

1. 项目基础介绍和主要编程语言

Baidu Galaxy 是一个由百度公司开源的数据中心操作系统项目，其目标是最大化资源的利用率与降低应用部署运维代价。该项目主要用于集群管理，通过容器化技术实现资源的隔离和调度，支持多种计算框架如 MapReduce 和 Spark。Galaxy 的架构分为资源管理层和服务管理层，其中资源管理层由 ResMan 和 Agent 组成，服务管理层由 AppMaster 和 AppWorkers 组成。

主要编程语言：

• Python：用于实现项目的核心逻辑。
• Shell：用于构建和部署脚本。

2. 新手在使用这个项目时需要特别注意的3个问题及解决步骤

问题一：如何配置和启动 Galaxy 集群？

解决步骤：

1. 确保所有节点都已经安装了 Docker。
2. 在每个节点上配置和启动 ResMan 和 Agent 服务。
   • 修改 config/resman.py 和 config/agent.py 中的配置项，如监听端口、资源限制等。
   • 运行 python resman.py 启动 ResMan 服务。
   • 运行 python agent.py 启动 Agent 服务。
3. 启动 AppMaster 服务。
   • 修改 config/appmaster.py 中的配置项。
   • 运行 python appmaster.py 启动 AppMaster 服务。

问题二：如何提交作业到 Galaxy 集群？

解决步骤：

1. 准备作业描述文件，包含资源需求和程序描述。
   • 资源需求：如 CPU 核数、内存大小、磁盘容量等。
   • 程序描述：包括部署命令、启动命令、停止命令等。
2. 使用 Galaxy 提供的命令行工具提交作业。
   • 例如：galaxy-submit --cpu 1 --memory 512M --command "python your_script.py" your_job_desc.json

问题三：如何处理作业运行中的故障和异常？

解决步骤：

1. 检查 AppMaster 日志，定位故障原因。
   • 日志通常位于 logs/appmaster.log。
2. 根据日志中的信息，确定是 ResMan、Agent 还是服务本身的问题。
   • 如果是 ResMan 或 Agent 问题，检查其配置和运行状态。
   • 如果是服务本身问题，检查服务日志和状态。
3. 根据具体情况采取相应的恢复措施。
   • 例如，如果是服务异常退出，可以重新提交作业或者调整资源配置。

以上是 Baidu Galaxy 项目的常见问题及其解决方案，希望能帮助新手更好地使用这个项目。