For_learning的博客

知识蒸馏 代码实现论文《Distilling the Knowledge in a Neural Network》1. 数据集本文使用fashion_mnist数据集，输入图像大小为28*28，共分为10类。通过tensoflow加载数据，并对label进行one hot编码。import tensorflow as tffrom tensorflow import kerasimport numpy as npfashion_mnist = tf.keras.datasets.fas

以分类任务为例，对多种模型构建方法和模型训练方法继续讨论。

Batch Normalization、Layer Normalization、Instance Normalization、Group Normalization本文针对神经网络中常见的Normalization Layer进行解释，以区分其中的不同。其中主要包括Batch Normalization、Layer Normalization、Instance Normalization、Group Normalization四种。以CNN为例，假设某一卷积层包括C个kernel（即通道数为c），则卷积

BP算法实现1 项目信息项目名称：bp算法实现语言：python平台：jupyter2 功能介绍实现网络定义：网络结构、激活函数、softmax、损失函数实现前向传播、后向传播过程实现批量数据的BP 过程3 具体代码import numpy as np3.1 网络结构定义输入模型的相关参数以确定模型的具体结构。模型参数包括模型的层数、每层的神经元数、所使用的激活函数以及学习率。模型默认提供ReLU和sigmoid激活函数，损失函数默认设置为交叉熵。layerNum = int