深度学习问题总结

总结在深度学习的过程中遇到的一些经典问题，并努力给出合理的解答。

1. Q: 为什么线性回归使用的是平方损失函数?
   A: 可以看作误差项为高斯分布的最大似然估计。

2. Q: 为什么不用线性回归解决分类问题?
   A: 线性回归应用在分类问题上时容易受特殊值影响，稳定性较差

3. Q: 如何使用牛顿法?

4. Q: Logistic函数是如何得到的?
   A: 1）从广义线性模型的角度解释：将伯努利分布写作指数分布族的通用形式，可以得到分布的自然参数和分类概率之间的关系。满足logistic函数
   2）从函数图像上理解，logistic函数需要将实数映射到$[0,1]$区间，在零点附近应该变化比较大，对极限值不敏感。
   3) 从高斯判别分析的角度: 当$p(x|y)$满足高斯分布(满足指数分布族)时，$p(y|x)$是一个类似logistic函数的形式。

5. Q: SVM算法