77、机器学习：从示例中学习的全面指南

机器学习：从示例中学习的全面指南

机器学习基础概述

机器学习的学习形式丰富多样，其具体形式取决于主体的性质、待改进的组件以及可用的反馈。当可用反馈能为示例输入提供正确答案时，这种学习问题被称作监督学习，其任务是学习一个函数 ( y = h(x) )。若学习的函数输出是连续或有序的值（如重量），则为回归；若输出是少量可能的类别，则为分类。

我们期望学习到的函数不仅能与现有数据相符，还能在未来数据上表现良好。这就需要在数据拟合度和假设的简单性之间找到平衡。决策树能够表示所有布尔函数，信息增益启发式方法为寻找简单且一致的决策树提供了高效途径。

学习算法的性能可以通过学习曲线直观呈现，该曲线展示了测试集上的预测准确率随训练集大小的变化情况。当有多个模型可供选择时，模型选择能够借助验证数据的交叉验证来挑选合适的超参数值。选定超参数值后，我们便使用所有训练数据构建最佳模型。

并非所有错误的严重程度都相同，损失函数可以衡量每个错误的严重程度，目标是在验证集上使损失最小化。计算学习理论会分析归纳学习的样本复杂度和计算复杂度，假设空间的表达能力和学习的难易程度之间存在权衡关系。

常见机器学习模型

• 线性回归 ：是一种广泛应用的模型，其最优参数可以精确计算，也能通过梯度下降搜索来确定。梯度下降是一种可应用于无闭式解模型的技术。
• 感知机 ：带有硬阈值的线性分类器，可通过简单的权重更新规则来训练，以拟合线性可分的数据。但在其他情况下，该规则可能无法收敛。
• 逻辑回归 ：用