【语义分割专题】语义分割前期预处理工作--数据处理

原创最新推荐文章于 2026-10-19 16:00:59 发布 3.5k 阅读 AI写同款

收录于

计算机视觉

mind_programmonkey

码龄9年墨衍会员 · AI 创作全网分发

4435粉丝1111篇原创

关注

语义分割：基于openCV和深度学习（二） 语义分割：基于openCV和深度学习（二） Semantic segmentation in images with OpenCV 开始吧-打开segment.py归档并插入以下代码： Semantic segmentation with OpenCV and deep learning import the necessary packages import numpy as np import argparse import imutils import time import cv2 从输入必要的依赖阅读详情

AI摘要

本文分享了研究生阶段在语义分割项目中如何通过数据增强技术提升模型鲁棒性，包括几何变换（如翻转、平移）、随机裁剪缩放、纹理增强（亮度对比度、HSV、运动模糊等），以及标准化方法（min-max归一化、z-score标准化）。这些技巧对于提高模型性能和泛化能力至关重要。

数据预处理

马上毕业了，毕业之前将研究生阶段做过的一些工作做一些分享。本期将分享语义分割的一些前期预处理以及论文。

1 数据增强

1.1 几何增强

原图:
在这里插入图片描述

import cv2
import matplotlib.pyplot as plt
%matplotlib inline
from skimage import io


# img = io.imread('image.jpg')
# label = io.imread('label.jpg')

img = cv2.imread('image.jpg')
label = cv2.imread('label.jpg')
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # cv2默认为bgr顺序
label = cv2.cvtColor(label, cv2.COLOR_BGR2RGB) # cv2默认为bgr顺序

io.imshow(img)

<matplotlib.image.AxesImage at 0x274358194c8>

在这里插入图片描述

io.imshow(label)

<matplotlib.image.AxesImage at 0x274358e2e08>

在这里插入图片描述

水平翻转

水平翻转： 水平镜像图像有助于增加方向的不变性(例如，行人可以以不同的方向出现)。在自然场景下，不建议垂直翻转，因为物体的垂直外观在场景中增加了重要的一致性（例如，网络知道天空是由它的位置决定的），但是像遥感图像这种俯瞰图，是可以垂直翻转的。

img_flip = cv2.flip(img, 1) # 1代表水平翻转，0代表垂直翻转，-1代表对角翻转 
label_flip = cv2.flip(label, 1)

io.imshow(img_flip)

<matplotlib.image.AxesImage at 0x2743595c8c8>

在这里插入图片描述

io.imshow(label_flip)

<matplotlib.image.AxesImage at 0x2743699c608>

在这里插入图片描述

平移

平移： 移动图像会阻止CNN总是看到训练图像的相同位置，因此它不会总是从第一层产生相同的激活(移位不变性)。

# 定义平移矩阵 
import numpy as np

M = np.float32([[1, 0, 100], [0, 1, 0]])
# 变换公式：dst(x, y) = src(M11x + M12y + M13, M21x + M22y + M23)
img_shift = cv2.warpAffine(img, M, (img.shape[1], img.shape[0]))
label_shift = cv2.warpAffine(label, M, (label.shape[1], label.shape[0]))

io.imshow(img_shift)

<matplotlib.image.AxesImage at 0x27436a09248>

在这里插入图片描述

io.imshow(label_shift)

<matplotlib.image.AxesImage at 0x27436a73d08>

在这里插入图片描述

随机裁剪和缩放

随机裁剪和缩放： 随机调整图像大小有助于模型看到每个对象的不同比例，并提高网络对不同图像分辨率的不变性。

h, w = img.shape[0], img.shape[1]
# 获取随机裁剪长度 
crop_scale = np.random.randint(h//2, h) / h
crop_h = int(crop_scale * h)
crop_w = int(crop_scale * w)
h_begin = np.random.randint(0, h - crop_h)
w_begin = np.random.randint(0, w - crop_w)

img_crop = img[h_begin: h_begin+crop_h, w_begin:w_begin+crop_w, :]
label_crop = label[h_begin: h_begin+crop_h, w_begin:w_begin+crop_w]

# resize函数使用时dsize先是w再是h，正好相反 
img_resize = cv2.resize(img_crop, (w, h))
label_resize = cv2.resize(label_crop, (w, h))

io.imshow(img_resize)

<matplotlib.image.AxesImage at 0x27436adefc8>

在这里插入图片描述

io.imshow(label_resize)

<matplotlib.image.AxesImage at 0x27436b524c8>

在这里插入图片描述

1.2 纹理增强

亮度和对比度

亮度和对比度： 物体在图像中的清晰度取决于场景照明和相机灵敏度。通过随机增加或减少图像亮度来增加输入图像的虚拟变化，改善了网络的照明不变性。对比度就是图像中最暗和最亮区域之间的分隔。通过随机增强来增加这个范围有助于增加对阴影的不变性，并且通常会提高网络在低光照条件下的性能。

from albumentations import (
    Compose,
    RandomBrightnessContrast
)

aug = Compose([RandomBrightnessContrast(brightness_limit=(0, 0.4), contrast_limit=(0, 0.4), p=1)])

augmented = aug(image=img, mask=label)
image_bright_contrast = augmented['image']
gt_bright_contrast = augmented['mask']

io.imshow(image_bright_contrast)

<matplotlib.image.AxesImage at 0x27438dd1d08>

在这里插入图片描述

io.imshow(gt_bright_contrast)

<matplotlib.image.AxesImage at 0x27438e42d08>

在这里插入图片描述

色调饱和度明度（HSV）： 色调的取值范围是0~360度，用来表示颜色的类别，其中红色是0度，绿色是120度，蓝色是240度。饱和度高，颜色则深而艳。亮度的用来表示颜色的明暗程度。

from albumentations import (
    Compose,
    HueSaturationValue
)

aug = Compose([HueSaturationValue(hue_shift_limit=20,
                                  sat_shift_limit=30,
                                  val_shift_limit=20,
                                  p=1)])

augmented = aug(image=img, mask=label)
image_hsv = augmented['image']
gt_hsv = augmented['mask']

io.imshow(image_hsv)

<matplotlib.image.AxesImage at 0x27438eb0b08>

在这里插入图片描述

io.imshow(gt_hsv)

<matplotlib.image.AxesImage at 0x27438f16d88>

在这里插入图片描述

运动模糊： 对图像进行模糊可以模拟部分拍摄场景的运动模糊，让网络对模糊图像的边界也具有较强的识别能力。

from albumentations import (
    Compose,
    MotionBlur
)

aug = Compose([MotionBlur(blur_limit=7, p=1.0)])

augmented = aug(image=img, mask=label)
image_MotionBlur = augmented['image']
gt_MotionBlur = augmented['mask']

io.imshow(image_MotionBlur)

<matplotlib.image.AxesImage at 0x2743906e448>

在这里插入图片描述

io.imshow(gt_MotionBlur)

<matplotlib.image.AxesImage at 0x274390d6c48>

在这里插入图片描述

颜色抖动： 向每个RGB像素添加小的随机噪声有助于获得对一些相机失真的不变性。

from albumentations import (
    Compose,
    RGBShift
)

aug = Compose([RGBShift(r_shift_limit=20,
                        g_shift_limit=20,
                        b_shift_limit=20,
                        p=1.0)])

augmented = aug(image=img, mask=label)
image_rgbshift = augmented['image']
gt_rgbshift = augmented['mask']

io.imshow(image_rgbshift)

<matplotlib.image.AxesImage at 0x2743a10eec8>

在这里插入图片描述

io.imshow(gt_rgbshift)

<matplotlib.image.AxesImage at 0x2743a17e408>

在这里插入图片描述

限制对比度的自适应直方图均衡化：

from albumentations import (
    Compose,
    CLAHE
)

aug = Compose([CLAHE(clip_limit=2,
                     tile_grid_size=(8, 8),
                     p=1)])

augmented = aug(image=img, mask=label)
image_CLAHE = augmented['image']
gt_CLAHE = augmented['mask']

io.imshow(image_CLAHE)

<matplotlib.image.AxesImage at 0x2743a1e2c88>

在这里插入图片描述

io.imshow(gt_CLAHE)

<matplotlib.image.AxesImage at 0x2743a5b0288>

在这里插入图片描述

其他增强

超像素： 随机将图像上某个超像素块内的颜色替换为超像素的均值。

from albumentations import Compose
from albumentations.imgaug.transforms import IAASuperpixels

aug = Compose([IAASuperpixels(p_replace=0.1,
                              n_segments=500,
                              p=1)])

augmented = aug(image=img, mask=label)
image_Superpixels = augmented['image']
gt_Superpixels = augmented['mask']

io.imshow(image_Superpixels)

<matplotlib.image.AxesImage at 0x2743a612ac8>

在这里插入图片描述

io.imshow(gt_Superpixels)

<matplotlib.image.AxesImage at 0x2743a658fc8>

在这里插入图片描述

锐化： 增强图像细节。

from albumentations import Compose
from albumentations.imgaug.transforms import IAASharpen

aug = Compose([IAASharpen(p=1)])

augmented = aug(image=img, mask=label)
image_Sharpen = augmented['image']
gt_Sharpen = augmented['mask']

io.imshow(image_Sharpen)

<matplotlib.image.AxesImage at 0x2743a704c08>

在这里插入图片描述

io.imshow(gt_Sharpen)

<matplotlib.image.AxesImage at 0x2743b7457c8>

在这里插入图片描述

透视变换：

from albumentations import Compose
from albumentations.imgaug.transforms import IAAPerspective

aug = Compose([IAAPerspective(p=1)])

augmented = aug(image=img, mask=label)
image_Perspective = augmented['image']
gt_Perspective = augmented['mask']

io.imshow(image_Perspective)

<matplotlib.image.AxesImage at 0x2743b7c9a08>

在这里插入图片描述

io.imshow(gt_Perspective)

<matplotlib.image.AxesImage at 0x2743b835288>

在这里插入图片描述

2 标准化与归一化

2.1 min-max归一化

公式：对数据的数值范围进行特定缩放，但不改变其数据分布的一种线性特征变换。

import matplotlib.pyplot as plt
import cv2
import numpy as np
import seaborn as sns

image = cv2.imread('image.jpg')[:, :, 0]
min_ = np.min(image)
max_ = np.max(image)

new_image = (image-min_) / (max_-min_)

flat_image = np.reshape(image, -1)
flat_new_image = np.reshape(new_image, -1)
fig, ax = plt.subplots(1, 2)
sns.distplot(flat_image, ax=ax[0])
sns.distplot(flat_new_image, ax=ax[1])
plt.show()

在这里插入图片描述

2.2 z-score 标准化

公式：将数值范围缩放到0附近, 但没有改变数据分布；

import matplotlib.pyplot as plt
import cv2
import numpy as np
import seaborn as sns

image = cv2.imread('image.jpg')[:, :, 0]
mean_ = np.mean(image)
std_ = np.std(image)

new_image = (image-mean_) / std_

flat_image = np.reshape(image, -1)
flat_new_image = np.reshape(new_image, -1)
fig, ax = plt.subplots(1, 2)
sns.distplot(flat_image, ax=ax[0])
sns.distplot(flat_new_image, ax=ax[1])
plt.show()