2021.7.28魔鬼训练报告

数学表达式魔鬼训练

作业

1. 将向量下标为偶数的分量 ($x_2,x_4,\dots$) 累加, 写出相应表达式.
   $$\sum _{i\mathrm{m}\mathrm{o}\mathrm{d}2=0}{x}_i$$
2. 各出一道累加、累乘、积分表达式的习题, 并给出标准答案.
   (1)将100以内的,$\mathrm{m}\mathrm{o}\mathrm{d}3=0$的数累加起来
   $$\sum _{1\le i\le 100,i\mathrm{m}\mathrm{o}\mathrm{d}3=0}i$$
   (2)写出$1,2,...,10$分之一的积
   $$\prod _{i=1}^{10}\frac{1}{i}$$
   (3)求以原点为中心，半径为R的圆的面积
   $${\int }_{-R}^{+R}2\pi R\mathrm{d}x$$
3. 你使用过三重累加吗? 描述一下其应用.
   ${\sum }_{1\le i\le 100}{\sum }_{1\le j\le 100}{\sum }_{1\le k\le 100}\left(x_{ijk}\right)$
4. 给一个常用的定积分, 将手算结果与程序结果对比.
   定积分： ${\int }_1^{2}x\mathrm{d}x$
   手算：${\int }_1^{2}x\mathrm{d}x=\frac{1}{2}{x}^2{|}_1^2=\frac{3}{2}$
   程序：

from sympy import *
x = symbols(‘x’)
print(integrate(x, (x, 1, 2)))

5. 自己写一个小例子来验证最小二乘法.

$\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]={\left({\left[\begin{array}{cc}1& x_1\\ 1& x_2\\ ⋮& ⋮\\ 1& x_n\end{array}\right]}^T\left[\begin{array}{cc}1& x_1\\ 1& x_2\\ ⋮& ⋮\\ 1& x_n\end{array}\right]\right)}^{-1}{\left[\begin{array}{cc}1& x_1\\ 1& x_2\\ ⋮& ⋮\\ 1& x_n\end{array}\right]}^T\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$

$\mathbf{X}=[1,2,3],\mathbf{Y}=[2,3,7]$
$\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]=\left[\begin{array}{c}2.5\\ -1\end{array}\right]$
得：$y=2.5x-1$
6. 线性回归公式推导
推导过程参考2020年魔鬼训练闵老师授课内容。
损失函数：$$\sum _{i=1}^m{\left({\mathbf{x}}_i\mathbf{w}-y_i\right)}^2$$
矩阵化表达：$$\Vert \mathbf{X}\mathbf{w}-\mathbf{Y}{\Vert }^2$$
矩阵化展开式：$$L(\mathbf{X},\mathbf{Y},\mathbf{w})=(\mathbf{X}\mathbf{w}-\mathbf{Y}{)}^{\mathrm{T}}(\mathbf{X}\mathbf{w}-\mathbf{Y})$$
求解推导：$$\begin{array}{rl}& L(\mathbf{X},\mathbf{Y},\mathbf{w})\\ & =(\mathbf{X}\mathbf{w}-\mathbf{Y}{)}^{\mathrm{T}}(\mathbf{X}\mathbf{w}-\mathbf{Y})\\ & =\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}-{\mathbf{Y}}^{\mathrm{T}}\right)(\mathbf{X}\mathbf{w}-\mathbf{Y})\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}-{\mathbf{Y}}^{\mathrm{T}}\mathbf{X}\mathbf{w}+{\mathbf{Y}}^{\mathrm{T}}\mathbf{Y}\end{array}$$
对$\mathbf{w}$求导，让其结果为0。由矩阵求导法则得：$$\begin{array}{rl}& \frac{\partial A\mathbf{w}}{\partial \mathbf{w}}=A\\ & \frac{\partial {\mathbf{w}}^{\mathrm{T}}A}{\partial \mathbf{w}}=A^{\mathrm{T}}\\ & \frac{\partial {\mathbf{w}}^{\mathrm{T}}A\mathbf{w}}{\partial \mathbf{w}}=2{\mathbf{w}}^{\mathrm{T}}A\end{array}$$
可知：
$$\begin{array}{rl}& \frac{\partial L(\mathbf{X},\mathbf{Y},\mathbf{w})}{\partial \mathbf{w}}\\ & =\frac{\partial {\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}}{\partial \mathbf{w}}-\frac{\partial {\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}}{\partial \mathbf{w}}-\frac{\partial {\mathbf{Y}}^{\mathrm{T}}\mathbf{X}\mathbf{w}}{\partial \mathbf{w}}+\frac{\partial {\mathbf{Y}}^{\mathrm{T}}\mathbf{Y}}{\partial \mathbf{w}}\\ & =2{\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}-{\mathbf{Y}}^{\mathrm{T}}\mathbf{X}-{\mathbf{Y}}^{\mathrm{T}}\mathbf{X}+0\\ & =2{\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}-2{\mathbf{Y}}^{\mathrm{T}}\mathbf{X}\end{array}$$
由
$$2{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}-2{\mathbf{Y}}^{\mathrm{T}}\mathbf{X}=0$$
可得
$${\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}={\mathbf{Y}}^{\mathrm{T}}\mathbf{X}$$
两边转置
$${\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}={\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$$
最后
$$\hat{\mathbf{w}}={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$$
7. 自己推导一遍逻辑回归, 并描述这个方法的特点 (不少于 5 条).
损失函数看做概率问题：下式越大越好$$P\left(y_i\mid {\mathbf{x}}_i;\mathbf{w}\right)={\left(\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)}^{y_i}{\left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)}^{1-y_i}$$
求似然函数：假设训练样本独立, 且同等重要

为获得全局最优, 将不同样本涉及的概率连乘, 获得似然函数：
$$\begin{array}{rl}L(\mathbf{w})& =P(\mathbf{Y}\mid \mathbf{X};\mathbf{w})\\ & =\prod _{i=1}^{m}P\left(y_i\mid {\mathbf{x}}_i;\mathbf{w}\right)\\ & =\prod _{i=1}^m{\left(\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)}^{y_i}{\left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)}^{1-y_i}\end{array}$$
对数函数具有单调性：
$$\begin{array}{rl}l(\mathbf{w})& =\log L(\mathbf{w})\\ & =\log \prod _{i=1}^{m}P\left(y_i\mid {\mathbf{x}}_i;\mathbf{w}\right)\\ & =\sum _{i=1}^m{y}_i\log \sigma \left({\mathbf{x}}_i\mathbf{w}\right)+\left(1-y_i\right)\log \left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)\end{array}$$
损失函数（平均损失）：$$\underset{\mathbf{w}}{\min }\frac{1}{m}\sum _{i=1}^m-y_i\log \sigma \left({\mathbf{x}}_i\mathbf{w}\right)-\left(1-y_i\right)\log \left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)$$
优化目标：$$\underset{\mathbf{w}}{\min }\frac{1}{m}\sum _{i=1}^m-y_i\log \sigma \left({\mathbf{x}}_i\mathbf{w}\right)-\left(1-y_i\right)\log \left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)$$

梯度下降法，迭代式推导：
由于
$$\begin{array}{c}l(\mathbf{w})=\sum _{i=1}^m{y}_i\log \sigma \left({\mathbf{x}}_i\mathbf{w}\right)+\left(1-y_i\right)\log \left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)\\ \frac{\partial l(\mathbf{w})}{\partial w_j}=\sum _{i=1}^m\left(\frac{y_i}{\sigma \left({\mathbf{x}}_i\mathbf{w}\right)}-\frac{1-y_i}{1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)}\right)\frac{\partial \sigma \left({\mathbf{x}}_i\mathbf{w}\right)}{\partial w_j}\\ =\sum _{i=1}^m\left(\frac{y_i}{\sigma \left({\mathbf{x}}_i\mathbf{w}\right)}-\frac{1-y_i}{1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)}\right)\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)\frac{\partial {\mathbf{x}}_i\mathbf{w}}{\partial w_j}\\ =\sum _{i=1}^m\left(\frac{y_i}{\sigma \left({\mathbf{x}}_i\mathbf{w}\right)}-\frac{1-y_i}{1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)}\right)\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\left(1-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)x_{ij}\\ =\sum _{i=1}^m\left(y_i-\sigma \left({\mathbf{x}}_i\mathbf{w}\right)\right)x_{ij}\end{array}$$
逻辑回归可以自己写例如或者直接调包

调包-sklearn实现
model = LogisticRegression()
model.fit(X, y)

逻辑回归的特点：
（1）由于sigmoid函数作用，预测结果为[0,1]之间的概率
（2）预测结果分为2类
（3）容易理解，可以通过公式进行推导，可解释性强
（4）准确率不高，在机器学习算法中表现一般
（5）模型简单