计算图像数据集RGB各通道的均值和方差

第一种写法,先读进来,再计算。比较耗内存。

import cv2
import numpy as np
import torch 
 
startt = 700
CNum = 100   # 挑选多少图片进行计算
imgs=[]
for i in range(startt, startt+CNum):
    img_path = os.path.join(root_path, filename[i])
    img = cv2.imread(img_path)
    img = img[:, :, :, np.newaxis]
    imgs.append(torch.Tensor(img))
 
torch_imgs = torch.cat(imgs, dim=3)
 
means, stdevs = [], []
for i in range(3):
    pixels = torch_imgs[:, :, i, :]  # 拉成一行
    means.append(torch.mean(pixels))
    stdevs.append(torch.std(pixels))
 
# cv2 读取的图像格式为BGR,PIL/Skimage读取到的都是RGB不用转
means.reverse()  # BGR --> RGB
stdevs.reverse()
 
print("normMean = {}".format(means))
print("normStd = {}".format(stdevs))

第二种写法,读一张算一张,比较耗时:先过一遍计算出均值,再过一遍计算出方差。

import os
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np
from scipy.misc import imread
 
startt = 4000
CNum = 1000   # 挑选多少图片进行计算
num = 1000 * 3200 * 1800  # 这里(3200,1800)是每幅图片的大小,所有图片尺寸都一样
 
imgs=[]
R_channel = 0
G_channel = 0
B_channel = 0
for i in range(startt, startt+CNum):
    img = imread(os.path.join(root_path, filename[i]))
    R_channel = R_channel + np.sum(img[:, :, 0])
    G_channel = G_channel + np.sum(img[:, :, 1])
    B_channel = B_channel + np.sum(img[:, :, 2])
 
R_mean = R_channel / num
G_mean = G_channel / num
B_mean = B_channel / num
 
R_channel = 0
G_channel = 0
B_channel = 0
for i in range(startt, startt+CNum):
    img = imread(os.path.join(root_path, filename[i]))
    R_channel = R_channel + np.sum(np.power(img[:, :, 0]-R_mean, 2) )
    G_channel = G_channel + np.sum(np.power(img[:, :, 1]-G_mean, 2) )
    B_channel = B_channel + np.sum(np.power(img[:, :, 2]-B_mean, 2) )
 
R_std = np.sqrt(R_channel/num)
G_std = np.sqrt(G_channel/num)
B_std = np.sqrt(B_channel/num)
 
# R:65.045966   G:70.3931815    B:78.0636285
print("R_mean is %f, G_mean is %f, B_mean is %f" % (R_mean, G_mean, B_mean))
print("R_std is %f, G_std is %f, B_std is %f" % (R_std, G_std, B_std))

第三种写法,只需要遍历一次:在一轮循环中计算出x,x^2; 然后x’=sum(x)/N ,又有sum(x^2),根据下式:

S^2
= sum((x-x’)^2 )/N = sum(x2+x’2-2xx’)/N
= {sum(x^2) + sum(x’^2) - 2x’sum(x) }/N
= {sum(x^2) + N
(x’^2) - 2x’(Nx’) }/N
= {sum(x^2) - N*(x’^2) }/N
= sum(x^2)/N - x’^2

S = sqrt( sum(x^2)/N - (sum(x)/N )^2 )

可以知道,只需要经过一次遍历,就可以计算出数据集的均值和方差。

import os
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np
from scipy.misc import imread
 
startt = 5000
CNum = 1000   # 挑选多少图片进行计算
R_channel = 0
G_channel = 0
B_channel = 0
R_channel_square = 0
G_channel_square = 0
B_channel_square = 0
pixels_num = 0
 
imgs = []
for i in range(startt, startt+CNum):
    img = imread(os.path.join(root_path, filename[i]))
    h, w, _ = img.shape
    pixels_num += h*w       # 统计单个通道的像素数量
 
    R_temp = img[:, :, 0]
    R_channel += np.sum(R_temp)
    R_channel_square += np.sum(np.power(R_temp, 2.0))
    G_temp = img[:, :, 1]
    G_channel += np.sum(G_temp)
    G_channel_square += np.sum(np.power(G_temp, 2.0))
    B_temp = img[:, :, 2]
    B_channel = B_channel + np.sum(B_temp)
    B_channel_square += np.sum(np.power(B_temp, 2.0))
 
R_mean = R_channel / pixels_num
G_mean = G_channel / pixels_num
B_mean = B_channel / pixels_num
 
"""   
S^2
= sum((x-x')^2 )/N = sum(x^2+x'^2-2xx')/N
= {sum(x^2) + sum(x'^2) - 2x'*sum(x) }/N
= {sum(x^2) + N*(x'^2) - 2x'*(N*x') }/N
= {sum(x^2) - N*(x'^2) }/N
= sum(x^2)/N - x'^2
"""
 
R_std = np.sqrt(R_channel_square/pixels_num - R_mean*R_mean)
G_std = np.sqrt(G_channel_square/pixels_num - G_mean*G_mean)
B_std = np.sqrt(B_channel_square/pixels_num - B_mean*B_mean)
 
print("R_mean is %f, G_mean is %f, B_mean is %f" % (R_mean, G_mean, B_mean))
print("R_std is %f, G_std is %f, B_std is %f" % (R_std, G_std, B_std))

转载于:https://www.cnblogs.com/liugl7/p/10874958.html

<think>好的,我需要帮助用户查找东北大学热轧钢缺陷数据集在归一化时使用的均值方差参数。首先,我需要确认这个数据集是否公开可用,因为如果数据集是公开的,通常这些预处理参数会在数据集的文档或相关的论文中提及。 首先,我应该检查用户提供的引用内容,看看是否有相关的信息。引用[1]提到了《Journal of Northeastern University (Natural Science)》第19卷第3期,可能涉及该大学的研究成果,但具体是否包含数据集的信息还不清楚。引用[2]是一篇关于动态环境中资源受限机器人的RGB-D惯性里程计的论文,可能与热轧钢数据集无关。引用[3]是关于东北大学计算机科学排名的信息,也不太相关。引用[4]讨论了一个改进模块StarBlock,用于目标检测等场景,同样不直接相关。 接下来,我应该考虑用户提到的数据集是否属于东北大学公开的数据集。通常,学术机构在发布数据集时会提供详细的预处理步骤,包括归一化参数。用户需要的是Normalize时使用的均值方差,这些参数通常是在数据集计算得出,可能基于训练集的统计信息。 可能的步骤包括: 1. 访问东北大学官方网站或相关实验室的页面,查找该数据集的发布页面。 2. 查找引用该数据集的论文或技术报告,通常在“数据预处理”部分会说明使用的归一化方法及参数。 3. 如果数据集托管在平台如Kaggle、IEEE DataPort等,检查其描述文档。 4. 联系数据集的作者或维护者直接询问。 但由于用户无法直接访问这些资源,可能需要依赖已有的引用信息。在用户提供的引用中,没有直接提到热轧钢缺陷数据集的归一化参数。因此,可能需要建议用户通过上述途径自行查找,或者检查相关论文的实验部分。 此外,可能需要考虑该数据集是否常用,是否有其他研究者使用过并公开了他们的预处理参数。例如,在GitHub上的开源项目或论坛讨论中可能有提及。 总结来说,用户需要的数据集归一化参数可能存在于该数据集的官方文档或相关论文中。如果无法找到,建议用户联系东北大学的相关研究团队获取准确信息。</think>关于东北大学热轧钢缺陷数据集的归一化参数(均值方差),需通过以下步骤获取: 1. **查阅数据集文档** 若该数据集已公开,官方文档通常会明确列出预处理参数。例如,在数据集的README文件或发布页面中可能包含类似以下说明: > “图像数据采用通道均值为$[0.485, 0.456, 0.406]$、方差为$[0.229, 0.224, 0.225]$进行标准化”[^1]。 2. **关联论文分析** 若数据集通过论文发布,可在“实验设置”或“数据预处理”部分查找。例如,某些论文会注明: $$ \text{标准化公式:} \quad x_{\text{norm}} = \frac{x - \mu}{\sigma} $$ 其中$\mu$$\sigma$分别对应均值与标准差。 3. **开源代码参考** 若该数据集被用于公开项目(如GitHub),可检查代码中的数据处理模块。常见形式如: ```python transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]) ]) ``` 4. **直接联系作者** 若上述途径无效,建议通过论文通讯作者邮箱或东北大学材料/计算机学院官网联系相关团队获取准确参数。 **注意事项**:不同数据集的归一化参数可能因数据分布差异而不同,直接使用他人报告的参数可能导致模型性能下降,建议通过统计自身数据计算
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值