机器学习的一些理解

机器学习的基本框架大都是模型、目标和算法！
对于一个数据集，首先你要根据数据的特点和目的来选择合适模型。
选定了模型（Logistic Regression），那么接下来就是让这个模型尽可能好的拟合或者分类数据，那么就需要有目标，所以要定下模型的cost function（Linear Regression的cost function是最小二乘（可以标准方程求出最优解），Logistic Regression的cost function却是伯努利分布，各自的响应变量服从不同的概率分布，在Linear Regression中，前提假设是服从正态分布，即，而Logistic中的是服从二项分布的(为什么不服从正态？因为非0即1啊！)因而，在用极大似然估计计算时，所得到的cost function自然是不一样的)，然而只有目标是没用的，我们还要有方法来达到目标，这里的方法就是——最优化算法。包括常用的梯度下降法(最速下降法)、牛顿法、拟牛顿法等。这样，一个机器学习算法就算完整了，因为可以用这些最优化算法来求出cost function．