Pytorch计算数据集均值和标准差

Tom哈哈

于 2021-03-30 10:00:08 发布

阅读量1.8k

点赞数

分类专栏：笔记文章标签： PyTorch mean std 深度学习机器学习

本文链接：https://blog.youkuaiyun.com/u011928958/article/details/115318232

版权

笔记专栏收录该内容

16 篇文章

订阅专栏

该博客通过Pytorch加载CIFAR10数据集，利用 DataLoader 进行批处理，并实现了一个函数`get_mean_std`来计算数据的均值和标准差。计算过程中，博主利用了统计学公式，对每个批次的数据求平均，最终得到整个数据集的均值和标准差，这对于数据预处理和归一化至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码来源Pytorch Quick Tip: Calculate Mean and Standard Deviation of Data

import torch
import torch.utils.data.dataloader as dataloader
import torchvision.datasets as datasets
from torchvision import transforms

train_dataset = datasets.CIFAR10(root="dataset/", train=True, transform=transforms.ToTensor(), download=True)
train_loader = dataloader.DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)


def get_mean_std(loader):
    #VAR[X]=E[X**2]-E(X)**2
    #公式推导参考https://zhuanlan.zhihu.com/p/35435231
    channels_sum, channels_squared_sum, num_batches = 0, 0, 0
    for data, _ in loader:
        channels_sum += torch.mean(data, dim=[0, 2, 3])
        channels_squared_sum += torch.mean(data ** 2, dim=[0, 2, 3])
        num_batches += 1
    mean = channels_sum / num_batches
    std = (channels_squared_sum / num_batches - mean ** 2) ** 0.5
    return mean, std


mean, std = get_mean_std(train_loader)
print(mean)
print(std)