BigDL-2.x在Databricks平台上的完整使用指南

BigDL-2.x在Databricks平台上的完整使用指南

BigDL-2.x BigDL: Distributed TensorFlow, Keras and PyTorch on Apache Spark/Flink & Ray 项目地址: https://gitcode.com/gh_mirrors/bi/BigDL-2.x

前言

BigDL是一个基于Apache Spark的分布式深度学习框架，它能够帮助用户在Spark集群上高效地运行深度学习工作负载。Databricks作为业界领先的Spark托管平台，为BigDL提供了理想的运行环境。本文将详细介绍如何在Databricks平台上配置和运行BigDL程序。

环境准备

1. 创建Databricks集群

在开始之前，您需要：

1. 准备一个Databricks工作区（AWS或Azure版本均可）
2. 通过UI创建一个新集群
3. 选择Databricks运行时版本（建议使用Runtime 9.1 LTS或10.4 LTS，它们包含Spark 3.1.2和Scala 2.12）

重要提示：BigDL强烈推荐使用Python 3.8环境，因此请确保选择的Databricks运行时版本支持Python 3.8。

初始化脚本配置

初始化脚本(init script)是在集群启动时自动执行的脚本，用于安装必要的软件包和配置环境。

脚本内容示例

以下是一个完整的初始化脚本示例，它会安装BigDL及其依赖：

#!/bin/bash

# 安装BigDL Orca核心组件
/databricks/python/bin/pip install --pre --upgrade bigdl-orca-spark3[ray]

# 安装常用深度学习框架
/databricks/python/bin/pip install tensorflow==2.9.1
/databricks/python/bin/pip install tqdm
/databricks/python/bin/pip install torch==1.11.0+cpu torchvision==0.12.0+cpu tensorboard -f https://download.pytorch.org/whl/torch_stable.html

# 将BigDL的JAR文件复制到Databricks的jars目录
cp /databricks/python/lib/python3.8/site-packages/bigdl/share/*/lib/*.jar /databricks/jars

上传脚本的两种方式

方法一：通过Databricks Notebook上传

1. 创建一个新的Notebook
2. 执行Python代码将脚本写入DBFS

init_script = """
#!/bin/bash
...脚本内容...
"""

dbutils.fs.put("dbfs:/FileStore/scripts/init.sh", init_script, True)

方法二：本地创建后上传

1. 在本地创建init.sh文件
2. 通过Databricks UI上传到DBFS

Spark配置优化

为了获得最佳性能，建议配置以下Spark参数：

spark.executor.cores 2
spark.cores.max 4

这些配置可以根据您的集群资源和工作负载需求进行调整。

应用初始化脚本

1. 进入集群配置页面
2. 选择"Advanced options" > "Init Scripts"
3. 添加之前上传的脚本路径
4. 启动或重启集群使配置生效

运行BigDL程序

在Notebook中，首先初始化Orca上下文：

from bigdl.orca import init_orca_context, stop_orca_context
init_orca_context(cluster_mode="spark-submit")

运行示例时的注意事项

1. PyTorch多节点运行：如果使用Spark后端在多节点集群上运行PyTorch示例，需要设置：

   GLOO_SOCKET_IFNAME="eth0"
   

2. 模型保存路径：当保存或加载模型到DBFS时，路径应采用File API格式（以/dbfs开头）

高级技巧

使用Databricks CLI管理文件

对于大文件上传，使用CLI比Web UI更高效：

1. 安装CLI工具：

   pip install databricks-cli
   

2. 配置认证：

   dbfs configure --token
   

3. 上传文件示例：

   dbfs cp /local/path/file.jar dbfs:/FileStore/jars/file.jar
   

常见问题解决

1. DBFS不可见：检查工作区设置中的"Advanced"选项，确保"DBFS File Browser"已启用

2. 初始化脚本失败：

   • 确认Databricks运行时版本
   • 检查Python版本兼容性
   • 验证脚本路径是否正确

结语

通过本文的指导，您应该能够在Databricks平台上顺利配置和运行BigDL程序。BigDL与Databricks的结合为分布式深度学习提供了强大的基础设施，使数据科学家能够专注于模型开发而非环境配置。

BigDL-2.x BigDL: Distributed TensorFlow, Keras and PyTorch on Apache Spark/Flink & Ray 项目地址: https://gitcode.com/gh_mirrors/bi/BigDL-2.x