- 博客(4)
- 收藏
- 关注
RSS订阅原创 批量归一化、残差网络
批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 1.对全连接层做批量归一化 位置：全连接层中的仿射变换和激活函数之间。 2.对卷积层做...
2020-02-24 11:38:16
328
原创 task 过拟合欠拟合
训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵...
2020-02-18 09:44:27
143
原创 task 02 文本处理 语言模型 神经网络基础
语言模型 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为T的词的序列W1…WT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率： n元语法 循环神经网络 循环神经网络的构造 ...
2020-02-14 18:34:43
164
原创 task 01 线性回归 softmax 多层感知机
线性回归的基本要素 模型 输出与各个输入之间是线性关系，以房价为例： 数据集 在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。 损失函数 在模型训练中，我们需要衡量预测值与真实...
2020-02-13 11:12:31
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人