4、机器学习中的数学基础：函数极值、凸性与概率

机器学习中的数学基础：函数极值、凸性与概率

1. 函数的极值

在机器学习中，评估函数的最大值和最小值具有广泛的应用。无论是监督学习还是无监督学习，构建机器学习模型都依赖于最小化成本函数或最大化似然函数、熵等。

1.1 单变量函数的极值规则

• 一阶导数条件 ：函数 ( f(x) ) 在极值点处关于 ( x ) 的导数为零。
• 二阶导数条件 ：需要研究 ( f(x) ) 在一阶导数为零的点处的二阶导数 ( \frac{d^2f(x)}{dx^2} )。若二阶导数小于零，则该点为极大值点；若大于零，则为极小值点；若二阶导数也为零，则该点为拐点。

例如，对于函数 ( y = f(x) = x^2 )：
- 其一阶导数 ( \frac{dy}{dx} = 2x )，令其为零，可得 ( x = 0 )。
- 二阶导数 ( \frac{d^2y}{dx^2} = 2 )，对于所有 ( x ) 值（包括 ( x = 0 )），二阶导数都大于零，所以 ( x = 0 ) 是函数 ( f(x) ) 的极小值点。

再看函数 ( y = g(x) = x^3 )：
- 一阶导数 ( \frac{dy}{dx} = 3x^2 )，令其为零，得到 ( x = 0 )。
- 二阶导数 ( \frac{d^2y}{dx^2} = 6x )，在 ( x = 0 ) 处，二阶导数为零，所以 ( x = 0 ) 既不是函数 ( g(x) ) 的极小值点也不是极大值点，而是拐点。

单变量函数导数