HJ

一、引言 机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时（例如看到一个

一、假设空间 归纳（induction）与演绎（deduction）是科学推理的两个大基本手段。前者是从特殊到一半的泛化（generalization）过程，即从具体的事实归结出一半性规律；后者则是从一般到特殊的“特化”（specialization）过程，即从基础原理推演出具体状况。 归纳学习有狭义和广义之分，广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习则要求从训练数据

一、经验误差 通常我们把分类错误的样本数占样本总数的比例称为“错误率”，即如果在m个样本中有a个样本分类错误，则错误率E = a / m；相应的，1 – a / m称为“精度”（accuracy），即“精度 = 1 - 错误率”。更一般地，我们把学习器的实际预测输出与样本的真是输出之间的差异称为“误差”，学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”

性能度量 对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量（performance measure）。 在预测任务中，给定样例集，其中yi是示例xi的真实标记，要评估学习器f的性能，就要把学习器预测结果f(x)与真实标记y进行比较。 回归任务最常用的性能度量是“均方误差”（mean squared error）更一般的，对于数据分布D和...

一、神经网络的训练过程主要是两类，一类是从输入层开始，上一层神经元到当前层神经元的传播方式，称为前向传播，另一类则是从最后一层开始，后一层的神经元得到结果与实际的结果形成一个偏差通过梯度下降的方法改变当前层的权重；前向传播：上一层的神经元与本层的神经元有连接，那么本层的神经元的激活等于上一层神经元的权值进行加权和运算，最后通过一个非线性函数（激活函数）如ReLU、Sigmoid等函数，最后得到...