什么是机器学习里的优化？

首先接触过那么多优化的方法，但是，究竟何为“优化”？

可以参考知乎某答：最优化问题的简洁介绍是什么？

简单来说，优化分为两步：

1. 构造目标函数

构造一个合适的目标函数，使得这个目标函数取到极值的解就是你所要求的东西； （构造目标函数）

即构造出:：

obj = loss + λΩ

注意：使用因子来衡量二者的重要程度，这是权重或者系数的本质意义吧

再通俗直白地说，目标即使得模型能够自动选择分类效果好，并且尽量简单的参数：

目标函数= 模型分类正确率 + r * 模型复杂度

2. 确定最优化方法

找到一个能让这个目标函数取到极值的解的方法。（最优化方法）

即使用求得下面式子的参数w。

为了达到目的，模型的训练往往首先给参数赋上随机初值，然后用各种下降法来寻找能让分类错误率更小的参数设置，梯度下降、牛顿法、共轭梯度法和