BigDL-2.x Keras风格API使用指南

BigDL-2.x Keras风格API使用指南

BigDL-2.x BigDL: Distributed TensorFlow, Keras and PyTorch on Apache Spark/Flink & Ray 项目地址: https://gitcode.com/gh_mirrors/bi/BigDL-2.x

概述

BigDL-2.x项目提供了一套基于Keras 1.2.2风格的API接口，旨在为开发者提供更友好的深度学习模型构建体验。这套API特别适合熟悉Keras框架的用户，可以轻松地在分布式环境中创建、训练和评估模型。

快速开始

要使用Keras风格API，首先需要导入以下包：

from zoo.pipeline.api.keras.layers import *
from zoo.pipeline.api.keras.models import *

这套API的一个显著特点是形状自动推断功能。用户只需要为模型的第一层指定输入形状（不包含批处理维度的形状元组，例如input_shape=(3,4)表示3D输入），后续层的输入维度将自动推断。

模型定义方法

BigDL-2.x支持两种模型定义方式：

1. Sequential顺序模型

Sequential API将模型描述为层的线性堆叠。层可以依次添加到Sequential容器中，模型的层顺序与添加顺序一致。

创建Sequential模型的示例代码：

from zoo.pipeline.api.keras.models import Sequential
from zoo.pipeline.api.keras.layers import Dense, Activation

model = Sequential()
model.add(Dense(32, input_shape=(128,)))  # 第一层需要指定输入形状
model.add(Activation("relu"))  # 后续层会自动推断输入形状

2. Functional函数式模型

Functional API将模型描述为计算图，比Sequential API更适合定义复杂模型（如多输出模型）。

创建函数式模型的步骤：

1. 使用Input()创建输入节点
2. 将输入节点传递给层，得到输出节点
3. 使用Model()将输入和输出节点组合成模型

示例代码：

from zoo.pipeline.api.keras.models import Model
from zoo.pipeline.api.keras.layers import Input, Dense, merge

# 创建输入节点
input1 = Input(shape=(8,)) 
input2 = Input(shape=(6,))

# 创建层并连接节点
dense1 = Dense(10)(input1)
dense2 = Dense(10)(input2)

# 合并节点
output = merge([dense1, dense2], mode="sum")

# 创建模型
model = Model([input1, input2], output)

模型常用方法

定义模型后，可以调用以下实用方法：

• get_input_shape(): 获取模型输入形状
• get_output_shape(): 获取模型输出形状
• set_name(name): 设置模型名称（也可在构造函数中指定）

层(Layers)的使用

BigDL-2.x提供了丰富的层类型，使用方法与Keras类似。可以通过以下方式设置层名称：

1. 在构造函数中指定name参数
2. 调用set_name(name)方法

实战示例：LeNet模型

下面是一个使用Keras风格API定义LeNet CNN模型的完整示例，用于MNIST数据集分类：

from zoo.pipeline.api.keras.models import Sequential
from zoo.pipeline.api.keras.layers import *

model = Sequential()
model.add(Reshape((1, 28, 28), input_shape=(28, 28, 1)))  # 重塑输入形状
model.add(Convolution2D(6, 5, 5, activation="tanh", name="conv1_5x5"))  # 第一卷积层
model.add(MaxPooling2D())  # 最大池化
model.add(Convolution2D(12, 5, 5, activation="tanh", name="conv2_5x5"))  # 第二卷积层
model.add(MaxPooling2D())  # 最大池化
model.add(Flatten())  # 展平
model.add(Dense(100, activation="tanh", name="fc1"))  # 全连接层
model.add(Dense(10, activation="softmax", name="fc2"))  # 输出层

# 查看模型输入输出形状
print(model.get_input_shape())  # (None, 28, 28, 1)
print(model.get_output_shape())  # (None, 10)

从Keras代码迁移

如果你已有使用Keras定义的模型代码，可以轻松迁移到BigDL-2.x平台，只需：

1. 将Keras导入语句替换为BigDL的导入语句
2. 注意以下差异点：

• 支持的Keras版本为1.2.2
• 默认维度顺序为th(Channel First)
• 部分Keras层参数可能不支持
• 需要移除与Keras后端相关的代码
• 不支持Keras的实用函数和HDF5权重加载

BigDL-2.x已成功测试迁移了VGG16、VGG19、ResNet50和InceptionV3等经典模型架构。

总结

BigDL-2.x的Keras风格API为开发者提供了简单易用的深度学习模型构建接口，特别适合熟悉Keras的用户。通过自动形状推断和分布式训练支持，开发者可以专注于模型设计而非底层实现细节。无论是简单的Sequential模型还是复杂的函数式模型，都能轻松构建和训练。

BigDL-2.x BigDL: Distributed TensorFlow, Keras and PyTorch on Apache Spark/Flink & Ray 项目地址: https://gitcode.com/gh_mirrors/bi/BigDL-2.x