算法工程师2020校招面试

------------------------------第一部分：实习2020.06------------------------

1. 平安科技（实习）

1.1 如何检验求得得梯度是正确得

求导得数学定义为：
$$\frac{d}{d\theta }J=\underset{ϵ\to 0}{\lim }\frac{J(\theta +ϵ)-J(\theta -ϵ)}{2ϵ}$$

由此我们可得梯度校验的数值校验公式：
$$\frac{d}{d\theta }J\approx \frac{J(\theta +ϵ)-J(\theta -ϵ)}{2ϵ}$$

在实际应用中，我们常将 ϵ 设为一个很小的常量，比如 1e−4 数量级，我们不会将它设得太小，比如 1e−20，因为那将导致数值舍入误差。

程序验证：

# 定义sigmoid函数
def sigmoid(x):
	return 1/(1+np.exp(-x))

# sigmoid函数导数
def sigmoid_prime(x):
	return sigmoid(x)*(1-sigmoid(x))

# 验证求梯度是否正确
def check_sigmoid(x, eposi):
	return (sigmoid(x+eposi)-sigmoid(x-eposi))/(2*eposi)

x = np.array([1,2,3])
eposi = 1e-4
print(sigmoid_prime(x))
print(check_sigmoid(x, eposi))

输出

[0.19661193 0.10499359 0.04517666]
[0.19661193 0.10499359 0.04517666]

reference
机器学习算法的调试 —— 梯度检验（Gradient Checking）

1.2 随机梯度下降步长取值范围

以线性回归为例进行说明：
$$L(\theta )=({\theta }^T{X}^T-Y^T)(X\theta -Y)$$

对参数求导得:
$$\frac{dL(\theta )}{d\theta }=X^T(X\theta -Y)$$

梯度下降算法为：
$${\theta }_{n+1}={\theta }_n-\alpha X^T(X{\theta }_n-Y)$$

将该公式变换得：
$${\theta }_{n+1}=F({\theta }_n)=(I-\alpha X^{T}X){\theta }_n+\alpha X^{T}Y$$

当 $\theta$ 收敛时，它是一个稳定点，即$\theta =F(\theta )$，解出$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$，与最小二乘法给出的结果一致。

按照非线性理论中的稳定性条件要求：$|F^{{}^{\prime }}(\theta )|<1$，即$|I-\alpha X^{T}X|<1$，因此$0<\alpha <2(|X^{T}X|{)}^{-1}$；所以，当步长超出这个范围，$\theta$是不稳定的，很容易导致发散。

总结下就是，在求梯度下降得时候令${\theta }_{n+1}=F({\theta }_n$