目录 0. 相关概念(记录) 1. 从假设函数到目标函数 1.1 有监督模型 1.2 无监督学习 1.3 强化学习 2. 最优化算法 2.1 公式法 2.2 数值优化算法(近似求解) 2.3 分治法 2.4 动态规划算法 3. 模型总结 一句话总结 多种角度看各种模型 决策边界可视化的思路 参考 机器学习算法/模型分类: 监督学习 分类、回归 无监督学习 聚类、降维 强化学习 0. 相关概念(记录) 损失函数、经验风险、结构风险 目标函数 = 结构风险函数 = 经验风险函数 + 正则项 Hessian矩阵正定 一阶导数信息:梯度 二阶导数信息:Hessian矩阵 正定(positive definite)的直观理解:正定矩阵A使得向量经过 Ax 变换后与变换之前的夹角恒定小于 π 2 {π}\over{2} 2π。 … 1. 从假设函数到目标函数 对于几乎所有机器学习算法,无论是有监