BigDL-2.x 图像特征工程 API 详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00057/article/details/148861065

BigDL-2.x 图像特征工程 API 详解

BigDL-2.x BigDL: Distributed TensorFlow, Keras and PyTorch on Apache Spark/Flink & Ray 项目地址: https://gitcode.com/gh_mirrors/bi/BigDL-2.x

概述

BigDL-2.x 提供了一套完整的图像处理 API，覆盖了从图像加载、预处理到模型训练/推理的全流程。这套 API 支持多种图像格式处理，并提供了丰富的图像变换功能，能够满足计算机视觉任务中的各种需求。

图像加载功能

BigDL-2.x 提供了两种主要的图像加载方式，分别适用于不同的使用场景：

1. 加载为 DataFrame

这种方式适合与 Spark 生态系统集成，将图像数据加载为 Spark DataFrame 格式。

Scala API 示例：

import com.intel.analytics.zoo.pipeline.nnframes.NNImageReader

// 从本地或远程路径加载图像
val imageDF = NNImageReader.readImages("/path/to/images", sparkContext, 
                                      minPartitions=4, resizeH=256, resizeW=256)

Python API 示例：

from zoo.pipeline.nnframes import NNImageReader

# 加载图像数据
image_df = NNImageReader.readImages("/path/to/images", sc, 
                                   minPartitions=4, resizeH=256, resizeW=256)

参数说明：

path：图像文件路径，支持本地和分布式文件系统
sc：SparkContext 对象（分布式加载时需要）
minPartitions：最小分区数，控制数据并行度
resizeH/resizeW：图像缩放尺寸（可选）

2. 加载为 ImageSet

ImageSet 是 BigDL 特有的图像集合抽象，分为分布式（DistributedImageSet）和本地（LocalImageSet）两种形式。

Scala 创建方式：

import com.intel.analytics.zoo.feature.image.ImageSet

// 本地图像集
val localSet = ImageSet.read("/local/path")

// 分布式图像集
val distributedSet = ImageSet.read("/hdfs/path", sparkContext, 2)

Python 创建方式：

from zoo.feature.image import ImageSet

# 本地图像集
local_set = ImageSet.read("/local/path")

# 分布式图像集
distributed_set = ImageSet.read("/hdfs/path", sc, min_partitions=2)

高级参数说明：

imageCodec：指定图像解码方式（与 OpenCV 的 imread 参数一致）
withLabel：是否从文件夹结构自动提取标签
oneBasedLabel：标签是否从1开始计数

图像变换（Transformer）

BigDL 提供了丰富的图像变换操作，这些变换可以串联起来形成预处理流水线。

常用 2D 图像变换

亮度调整（ImageBrightness）

Scala 示例：

import com.intel.analytics.zoo.feature.image.ImageBrightness

// 创建亮度调整变换器
val brightness = ImageBrightness(0.0, 32.0)  // 亮度变化范围[0,32]

// 应用变换
val brightenedSet = imageSet.transform(brightness)

Python 示例：

from zoo.feature.image.imagePreprocessing import ImageBrightness

brightness = ImageBrightness(0.0, 32.0)
brightened_set = image_set.transform(brightness)

字节到矩阵转换（ImageBytesToMat）

将原始图像字节数组转换为 OpenCV Mat 格式：

import com.intel.analytics.zoo.feature.image.ImageBytesToMat

// 转换图像格式
val matSet = imageSet.transform(ImageBytesToMat())

3D 图像支持

BigDL 还提供了专门的 3D 图像处理功能，适用于医学影像等场景。

3D 图像集创建

Scala 示例：

import com.intel.analytics.zoo.feature.image3d.ImageFeature3D

// 从张量创建3D图像特征
val image3d = ImageFeature3D(tensor3d)

// 创建本地3D图像集
val local3dSet = ImageSet.array(Array(image3d))

// 创建分布式3D图像集
val rdd = sc.parallelize(Seq(image3d))
val dist3dSet = ImageSet.rdd(rdd)

3D 图像变换

裁剪变换

固定位置裁剪（Crop3D）

import com.intel.analytics.zoo.feature.image3d.Crop3D

// 从(10,20,30)位置裁剪100x100x100的立方体
val cropper = Crop3D(Array(10,20,30), Array(100,100,100))
val cropped = image3dSet.transform(cropper)

随机裁剪（RandomCrop3D）

from zoo.feature.image3d.transformation import RandomCrop3D

# 随机裁剪128x128x128的立方体
random_crop = RandomCrop3D(128, 128, 128)
cropped_set = random_crop(image_set)

中心裁剪（CenterCrop3D）

import com.intel.analytics.zoo.feature.image3d.CenterCrop3D

// 中心裁剪64x64x64的立方体
val centerCrop = CenterCrop3D(64, 64, 64)
val centerCropped = image3dSet.transform(centerCrop)

3D 旋转（Rotate3D）

from zoo.feature.image3d.transformation import Rotate3D

# 绕三个轴旋转(30,45,15)度
rotator = Rotate3D([30.0, 45.0, 15.0])
rotated_set = rotator(image_set)

3D 仿射变换（AffineTransform3D）

import com.intel.analytics.zoo.feature.image3d.AffineTransform3D
import com.intel.analytics.bigdl.tensor.Tensor

// 定义3x3变换矩阵
val mat = Tensor[Double](Array(1.0,0.1,0.2,0.0,1.1,0.0,0.0,0.0,1.0), Array(3,3))
val translation = Tensor[Double](Array(0.0, 5.0, 5.0))

// 创建仿射变换
val affine = AffineTransform3D(mat, translation, "clamp", 0.0)
val transformed = image3dSet.transform(affine)