<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chen_kl86的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chen_kl86</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chen_kl86]]></copyright><item><title><![CDATA[torch.nn.BatchNorm1d和torch.nn.BatchNorm2d]]></title><link>https://blog.youkuaiyun.com/chen_kl86/article/details/131389696</link><guid>https://blog.youkuaiyun.com/chen_kl86/article/details/131389696</guid><author>chen_kl86</author><pubDate>Tue, 27 Jun 2023 17:19:56 +0800</pubDate><description><![CDATA[在计算观测数据batch的均值和方差的时候是对batch的同一通道上的所有元素进行统计计算，假设输入数据为。模型处于训练阶段，每作一次归一化，模型都需要更新参数running_mean和running_var，即跟踪每个batch数据的均值和方差。需要注意的是：running_mean和running_var更新用的无偏的方差，数据归一化用的是有偏的方差。模型无论处于训练或测试阶段，都是利用当前batch的均值和方差做归一化，且不更新模型的均值和方差。为当前观测数据batch的均值或方差，]]></description><category></category></item></channel></rss>