qq_63974399的博客

深度学习和机器学习在流程上基本类似，但在代码实现上有较大差异。

给定一个训练好的模型和一个新的样本，我们不会丢弃任何节点，因此不需要标准化。当训练数据稀缺时，我们甚至可能无法提供足够的数据来构成一个合适的验证集。这里我们采用K-折交叉验证的方法：将训练数据分割成K块，使用第i（0

因为将线性层的输出直接视为概率时存在一些问题： 一方面，我们没有限制这些输出数字的总和为1。另一方面，根据输入的不同，它们可以为负值。softmax函数正是这样做的： softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持。为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。我们希望模型的输出可以视为属于类的概率， 然后选择具有最大输出值的类别作为我们的预测类。为了估计所有可能类别的条件概率，我们需要一个有多个输出的模型，每个类别对应一个输出。

注意，这两个层都是全连接的。每个输入都会影响隐藏层中的每个神经元， 而隐藏层中的每个神经元又会影响输出层中的每个神经元。感知机是二分类的线性模型，其输入是实例的特征向量，输出的是事例的类别，分别是+1和-1，属于判别模型。ReLU:不存在梯度消失（不饱和函数），丢掉不重要的特征（稀疏性），运算简单，收敛速度快，更符合生物神经网络激活机制，常用于训练过程激活函数。最受欢迎的激活函数是修正线性单元（Rectified linear unit，ReLU）， 因为它实现简单，同时在各种预测任务中表现良好。

线性模型定义：回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。线性假设是指目标可以表示为特征的加权和,权重决定了每个特征对我们预测值的影响。当我们的输入包含d个特征时，我们将预测结果y^ （通常使用“尖角”符号表示y的估计值）表示为：$$ \hat{y}=w_1 x_1+\ldots+w_d x_d+b$$在开始寻找最好的模型参数（model parameters）w和b之前， 我们还需要两个东西： （1）一种模型质量的度量方式； （2）一种能够更新模型以提高模型预

机器学习-决策树

机器学习-模型评估

机器学习-神经网络

机器学习-逻辑回归算法

机器学习-线性回归算法

机器学习-什么是机器学习、监督学习和无监督学习

机器学习理论基础

机器学习开发应用步骤的理解