数据增强,步骤整理,以后备用

方法一:

self.transforms = transforms.Compose([
                #对输入图像进行裁剪,保持图片中心点不变。transform = CenterCrop(224)。
                transforms.CenterCrop(224),  
                #随机调整图像的亮度,对比度,饱和度和色调。 transform = ColorJitter(0.4, 0.4, 0.4, 0.4)
                transforms.ColorJitter(0.4, 0.5, 0.6, 0.7), 
                #依据degrees参数指定的角度范围,按照均匀分布随机产生一个角度对图像进行旋转。
                transforms.RandomRotation(60),  
                #将形状为 (H x W x C)的输入数据 PIL.Image 或 numpy.ndarray 转换为 (C x H x W)。
                transforms.ToTensor(),
                #图像归一化处理,支持两种方式: 1. 用统一的均值和标准差值对图像的每个通道进行归一化处理; 2. 对每个通道指定不同的均值和标准差值进行归一化处理。
                transforms.Normalize(mean=[127.5, 127.5, 127.5],std=[127.5, 127.5, 127.5],)   
            ])

方法二:

import os
import math
import random
import functools
import numpy as np
import paddle
from PIL import Image, ImageEnhance

random.seed(0)
np.random.seed(0)

DATA_DIM = 224

THREAD = 8
BUF_SIZE = 102400

DATA_DIR = './'

img_mean = np.array([0.485, 0.456, 0.406]).reshape((3, 1, 1))
# 0.485, 0.456, 0.406
img_std = np.array([0.229, 0.224, 0.225]).reshape((3, 1, 1))
# 0.229, 0.224, 0.225


def resize_short(img, target_size):
	percent = float(target_size) / min(img.size[0], img.size[1])
	resized_width = int(round(img.size[0] * percent))
	resized_height = int(round(img.size[1] * percent))
	img = img.resize((resized_width, resized_height), Image.LANCZOS)
	return img

#裁剪

def crop_image(img, target_size, center):
	width, height = img.size
	size = target_size
	if center == True:
		w_start = (width - size) / 2
		h_start = (height - size) / 2
	else:
		w_start = np.random.randint(0, width - size + 1)
		h_start = np.random.randint(0, height - size + 1)
	w_end = w_start + size
	h_end = h_start + size
	img = img.crop((w_start, h_start, w_end, h_end))
	return img


def random_crop(img, size, scale=[0.08, 1.0], ratio=[3. / 4., 4. / 3.]):
	aspect_ratio = math.sqrt(np.random.uniform(*ratio))
	w = 1. * aspect_ratio
	h = 1. / aspect_ratio

	bound = min((float(img.size[0]) / img.size[1]) / (w**2),
                (float(img.size[1]) / img.size[0]) / (h**2))
	scale_max = min(scale[1], bound)
	scale_min = min(scale[0], bound)

	target_area = img.size[0] * img.size[1] * np.random.uniform(scale_min,
                                                             scale_max)
	target_size = math.sqrt(target_area)
	w = int(target_size * w)
	h = int(target_size * h)

	i = np.random.randint(0, img.size[0] - w + 1)
	j = np.random.randint(0, img.size[1] - h + 1)

	img = img.crop((i, j, i + w, j + h))
	img = img.resize((size, size), Image.LANCZOS)
	return img

#角度
def rotate_image(img):
	angle = np.random.randint(-10, 11)
	img = img.rotate(angle)
	return img

#概率的图像增强 
def distort_color(img):
	def random_brightness(img, lower=0.5, upper=1.5):
		e = np.random.uniform(lower, upper)
		return ImageEnhance.Brightness(img).enhance(e)

	def random_contrast(img, lower=0.5, upper=1.5):
		e = np.random.uniform(lower, upper)
		return ImageEnhance.Contrast(img).enhance(e)

	def random_color(img, lower=0.5, upper=1.5):
		e = np.random.uniform(lower, upper)
		return ImageEnhance.Color(img).enhance(e)

	ops = [random_brightness, random_contrast, random_color]
	np.random.shuffle(ops)

	img = ops[0](img)
	img = ops[1](img)
	img = ops[2](img)

	return img

#图片综合处理
def process_image(sample, mode, color_jitter, rotate):
	img_path = sample[0]

	img = Image.open(img_path)
	if mode == 'train':
		if rotate: img = rotate_image(img)
		img = random_crop(img, DATA_DIM)
	else:
		img = resize_short(img, target_size=256)
		img = crop_image(img, target_size=DATA_DIM, center=True)
	if mode == 'train':
		if color_jitter:
			img = distort_color(img)
		if np.random.randint(0, 2) == 1:
			img = img.transpose(Image.FLIP_LEFT_RIGHT)

	if img.mode != 'RGB':
		img = img.convert('RGB')

	img = np.array(img).astype('float32').transpose((2, 0, 1)) / 255
	img -= img_mean
	img /= img_std

	if mode == 'train' or mode == 'val':
		return img, sample[1]
	elif mode == 'test':
		return [img]

#创建reader
def _reader_creator(file_list,
                    mode,
                    shuffle=False,
                    color_jitter=False,
                    rotate=False,
                    data_dir=DATA_DIR):
	def reader():
		
		with open(file_list) as flist:
			full_lines = [line.strip() for line in flist]
			if shuffle:
				np.random.shuffle(full_lines)
			if mode == 'train' and os.getenv('PADDLE_TRAINING_ROLE'):
                # distributed mode if the env var `PADDLE_TRAINING_ROLE` exits
				trainer_id = int(os.getenv("PADDLE_TRAINER_ID", "0"))
				trainer_count = int(os.getenv("PADDLE_TRAINERS", "1"))
				per_node_lines = len(full_lines) // trainer_count
				lines = full_lines[trainer_id * per_node_lines:(trainer_id + 1)
                                   * per_node_lines]
				print(
                    "read images from %d, length: %d, lines length: %d, total: %d"
                    % (trainer_id * per_node_lines, per_node_lines, len(lines),
                       len(full_lines)))
			else:
				lines = full_lines

			for line in lines:
				if mode == 'train' or mode == 'val':
					img_path, label = line.split('\t')
					img_path = img_path.replace("JPEG", "jpeg")
					img_path = os.path.join(data_dir, img_path)
					yield img_path, int(label)
				elif mode == 'test':
                    #img_path = os.path.join(data_dir, line)
					img_path, label = line.split('\t')
					img_path = img_path.replace("JPEG", "jpeg")
					img_path = os.path.join(data_dir, img_path)
					yield [img_path]

	mapper = functools.partial(
		process_image, mode=mode, color_jitter=color_jitter, rotate=rotate)

	mapper = functools.partial(
		process_image, mode=mode, color_jitter=color_jitter, rotate=rotate)

	return paddle.reader.xmap_readers(mapper, reader, THREAD, BUF_SIZE)


def train(data_dir=DATA_DIR):
	file_list = os.path.join(data_dir, 'train_split_list.txt')
	return _reader_creator(
        file_list, 'train', shuffle=True, color_jitter=False, rotate=False, data_dir=data_dir)


def val(data_dir=DATA_DIR):
	file_list = os.path.join(data_dir, 'val_split_list.txt')
	return _reader_creator(file_list, 'val', shuffle=False, data_dir=data_dir)


def test(data_dir=DATA_DIR):
	file_list = os.path.join(data_dir, 'test_list.txt')
	return _reader_creator(file_list, 'test', shuffle=False, data_dir=data_dir)

<think>好的,我需要帮助用户找到关于RUIE数据集的下载、使用和介绍信息。首先,我要回顾用户提供的引用内容,看看哪些是相关的。 用户提到了引用2、3、5,这些都与RUIE数据集有关。引用2和3提供了备用下载链接,而引用5提到了数据集的用途和相关比赛。我需要整合这些信息,确保用户能清楚如何获取和使用该数据集。 接下来,我需要按照用户的要求,用中文回答,结构清晰,分步骤说明。同时,要注意引用格式,在相关部分末尾自然添加引用标识,比如[^2]。另外,用户要求生成相关问题,我需要根据内容提出几个相关问题。 还需要检查是否所有数学表达式都用$...$格式,但这个问题中可能不涉及数学公式,所以可能不需要处理。但如果有,比如提到某些参数或指标,可能需要使用正确的LaTeX格式。 现在,整理信息: 1. RUIE数据集的备用下载途径在引用2和3中,项目地址是https://gitcode.com/open-source-toolkit/4e919。 2. 数据集包含真实水下图像,用于增强研究,引用2和3都提到了这一点。 3. 使用说明包括下载、解压和根据需求进行实验,引用2提到了这些。 4. 注意事项中建议参考相关博文,遇到问题通过GitHub反馈,引用2和3有说明。 5. 引用5提到该数据集类似另一个比赛的数据集,有4类目标,但5544张图片可能属于另一个数据集,需要区分清楚,避免混淆。不过用户的问题是关于RUIE,所以可能只需提到相关应用场景,比如目标检测,引用5可作为应用场景的参考。 需要确保回答准确,不混淆不同数据集。RUIE主要用于图像增强,而引用5中的是目标检测,但用户可能需要了解应用场景,所以可以提及。 最后,生成相关问题,可能包括下载方法、数据内容、与其他数据集的比较、应用场景等。 现在组织回答: 分点说明下载方法、数据集内容、使用方法和应用场景,每个部分引用对应的引用。然后列出相关问题。</think>### RUIE数据集下载、使用及介绍 #### 1. 下载方式 - **备用下载地址**:可通过项目仓库直接下载,地址为: $$https://gitcode.com/open-source-toolkit/4e919$$ 该资源为备用途径,解压后即可获取数据集文件[^3]。 - **推荐流程**:建议优先访问相关博文或官方渠道获取更详细的下载指南(如数据分布说明或版本信息)[^2]。 #### 2. 数据集内容 - **类型与用途**:包含真实水下环境拍摄的图像,适用于**图像增强研究**(如去雾、色彩校正)[^2]。 - **规模与结构**:未明确标注样本数量,但文件类型以常规图像格式(如JPG/PNG)为主,需用户自行划分训练集与测试集[^2]。 #### 3. 使用方法 1. **数据预处理**:根据研究目标对图像进行归一化、噪声去除等操作。 2. **增强算法实验**:可结合深度学习框架(如PyTorch、TensorFlow)设计模型,对比增强前后的图像质量指标(如$PSNR$或$SSIM$)。 3. **结果验证**:通过可视化或定量评估验证算法效果。 #### 4. 应用场景 - **图像增强**:改善水下图像的清晰度与色彩保真度。 - **目标检测辅助**:尽管RUIE本身未标注目标类别,但其增强后的图像可用于提升水下检测模型的精度(类似引用[5]中的水下目标检测场景)[^5]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值