Defiler_Lee的博客

BertTokenizer 使用方法，BertTokenizer 函数详解，tokenizer使用方法

目录 1. numpy实现全连接层 2. numpy实现MSE损失函数 3. numpy实现梯度更新优化器 momentum优化器 SGD优化器 4. numpy实现sigmoid激活函数 5. 简单模型的定义 6. 数据集测试 7. train函数实现 1. numpy实现全连接层 class numpy_fc(object): def __init__(self, in_channel, out_channel, optim, name="fc"): .

目录 1. 交叉熵详解 1.1信息量 1.2 熵 1.3 相对熵（KL散度） 1.4交叉熵 1.5 小结 2. 交叉熵的应用（pytorch中） 2.1交叉熵在分类任务中的计算过程 2.2 log_softmax()函数 2.3nll_loss()函数 2.4cross_entropy()函数 2.5 函数的其他调用方式 1. 交叉熵详解 1.1...

1.softmax 的位置 softmax（软最大输出函数），可以将输入序列映射到 0-1 之间，且映射后的序列和为 1，这样就可以理解为，将输入序列转化为分别对应属于某些分类的概率，因此常常用来作为多分类任务中的激活函数，同时使用交叉熵作为损失函数。 2.softmax函数及导数 softmax 函数 softmax 求导时分两种情况： 当 i = j 时： 当 i ≠ ...

学习时候发现了有的网络结构中将BN作为单独的一层进行设计，因此学习了一下BN。 1.Batch normalization理解 BN可以作为激活层之前一层，将输入数据进行标准化， BN计算公式如下: 其中，E[x]为均值，sqrt（var）为标准差，可知BN层的输出其实是将输入的数据标准化成为均值为0方差为1的正态分布。 这样做的原因呢？ 这里我们假设使用si...