Kuekua的专栏

Deep LearningAn MIT Press bookIan Goodfellow and Yoshua Bengio and Aaron Courville英文原版感谢大神在GitHub上共享自己的中文翻译：Deep-Learning中文PDF版第二章  线性代数An MIT Press bookIan Goodfellow an

1.基本概念隐藏层： 神经网络中输入与输出层之间的中间层，训练数据并没有给出这些层中的每一层所需的输出，所以叫隐藏层。模型的宽度： 网络中的每个隐藏层通常都是向量值的。这些隐藏层的维数决定了模型的宽度。 向量的每个元素都可以被视为起到类似一个神经元的作用。 除了将层想象成向量到向量的单个函数，我们也可以把层想象成由许多并行操作的单元组成，每个单元表示一个向量到标量的函数。 每个单

1.概念正则化定义为“对学习算法的修改——旨在减少泛化误差而不是训练误差”。 目前有许多正则化策略。 有些策略向机器学习模型添加限制参数值的额外约束。 有些策略向目标函数增加额外项来对参数值进行软约束。 有时侯，这些约束和惩罚被设计为编码特定类型的先验知识； 其他时候，这些约束和惩罚被设计为偏好简单模型，以便提高泛化能力。 有时，惩罚和约束对于确定欠定的问题是必要的。 其他形式的正则化，如被称为

1. 最小化经验风险利用训练集上的经验分布,p^(x,y)\hat{p}(x,y)替代真实分布p(x,y)p(x,y)。 现在，我们将最小化经验风险： 其中mm表示训练样本的数目。2.小批量算法通常，在所有训练集上准确计算优化参数计算代价非常大，因为我们需要在整个数据集上的每个样本上评估模型。 在实践中，我们可以从数据集中随机采样少量的样本，然后计算这些样本上的平均值。 随机方法的典型示例

1. 卷积公式： 2.卷积运算特点：稀疏交互： **参数共享：**参数共享是指在一个模型的多个函数中使用相同的参数。 在卷积神经网络中，核的每一个元素都作用在输入的每一位置上（是否考虑边界像素取决于对边界决策的设计）。 卷积运算中的参数共享保证了我们只需要学习一个参数集合，而不是对于每一位置都需要学习一个单独的参数集合。**平移等变：**如果一个函数满足输入改变，输出也以同样的方式改变这一性质，我们

1. 展开计算图循环神经网络使用下面的公式定义隐藏单元的值。 为了表明状态是网络的隐藏单元，我们使用变量hh代表状态重写：上式可以用两种不同的方式绘制。 一种方法是为可能在模型的物理实现中存在的部分赋予一个节点，如生物神经网络。 在这个观点下，网络定义了实时操作的回路，如下图的左侧，其当前状态可以影响其未来的状态。 在本章中，我们使用回路图的黑色方块表明在时刻tt的状态到时刻t+1t+1的状态单个时

1. 性能度量精度是模型报告的检测是正确的比率，而召回率则是真实事件被检测到的比率。 检测器永远报告没有患者，会得到一个完美的精度，但召回率为零。 而报告每个人都是患者的检测器会得到一个完美的召回率，但是精度会等于人群中患有该病的比例（在我们的例子是0.0001%0.0001\%，每一百万人只有一人患病）。 当使用精度和召回率时，我们通常会画PR曲线，yy轴表示精度，xx轴表示召回率。 如果检测到的

1. 大规模深度学习深度学习的基本思想基于联结主义：尽管机器学习模型中单个生物性的神经元或者说是单个特征不是智能的，但是大量的神经元或者特征作用在一起往往能够表现出智能。 在训练过程中，数据并行某种程度上来说更加困难。 对于随机梯度下降的单步来说，我们可以增加小批量的大小，但是从优化性能的角度来说，我们得到的回报通常并不会线性增长。 使用多个机器并行地计算多个梯度下降步骤是一个更好的选择。 不幸的是