bdutil项目推荐

bdutil项目推荐

bdutil [DEPRECATED] Script used to manage Hadoop and Spark instances on Google Compute Engine 项目地址: https://gitcode.com/gh_mirrors/bd/bdutil

1. 项目基础介绍和主要编程语言

bdutil是一个用于在Google Compute Engine上管理Apache Hadoop和Apache Spark实例的命令行脚本工具。该项目的主要编程语言是Shell和Python。Shell脚本用于主要的部署和管理任务，而Python则用于一些辅助功能和配置管理。

2. 项目核心功能

bdutil的核心功能包括：

• 实例管理：创建、启动、配置和关闭Hadoop和Spark实例。
• 配置管理：通过bdutil_env.sh文件自定义项目的配置参数，如项目ID、存储桶等。
• 部署自动化：支持一键部署，自动安装和配置Hadoop和Spark环境。
• 组件安装：默认安装Apache Hadoop、Apache Spark、Apache Pig和Apache Hive等开源组件。

3. 项目最近更新的功能

截至最新版本1.3.5，bdutil的主要更新功能包括：

• Hadoop版本更新：支持安装Hadoop 1.2.1（或通过-e参数安装2.7.1版本）。
• Spark版本更新：支持安装Spark 1.5.0版本。
• Pig和Hive更新：支持安装Pig 0.12和Hive 1.2.1版本。
• 配置优化：对bdutil_env.sh文件中的配置参数进行了优化，提高了部署的灵活性和可定制性。
• 文档更新：增加了快速入门指南、作业提交、监控和关闭集群的详细文档。

通过这些更新，bdutil进一步提升了在Google Compute Engine上管理Hadoop和Spark实例的效率和便捷性。

bdutil [DEPRECATED] Script used to manage Hadoop and Spark instances on Google Compute Engine 项目地址: https://gitcode.com/gh_mirrors/bd/bdutil