回归、分类、无监督算法模型

-------------------------------------- 回归 ------------------------------------------------
• 线性回归算法（基础线性回归、ridge回归、lasso回归、弹性网络）、多项式回归算法  ------ 线性的，数据是线性数据。
• 神经网络
• 回归树（CART分类回归树，回归预测结果是分段函数）和 随机森林（底层为CART树） 
• 集成学习
-------------------------------------- 分类 ------------------------------------------------  
• Logistic回归算法、Softmax回归算法   --------- 底层是回归算法，解决的是分类问题
• KNN K近邻
• 决策树
• 贝叶斯分类器
• SVM
• 集成学习
--------------------------------------- 无监督 ---------------------------------------------
• KMeans

求解模型参数的方法：
    1、最小二乘法
    2、BGD、SGD、MSGD
    3、MLE 极大似然             --------- 有标签y，有监督
    4、MAP 极大后验概率估计      --------- 代表：贝叶斯估计（有监督）    
    5、EM 算法（类似KMeans的思想，基于MAP的计算方法）   --------- 代表：GMM（无监督）

            https://scikit-learn.org/0.18/index.html    -------- sklearn  API

•      词汇：
  •  linear 线性的；Regression 回归；
•     注意：
  • ① 向量是一种特殊的矩阵，在numpy中 它是 二维结构，是由 np.mat().reshape(-1,1) 转化的 matrix 数据类型

一、回归

   1、线性回归

          https://blog.youkuaiyun.com/qq_16555103/article/details/88656921   -------- 线性回归

二、分类 

1、逻辑回归( 二分类、多分类（Softmax）)

          https://blog.youkuaiyun.com/qq_16555103/article/details/89135490     --------   逻辑回归

三、无监督学习

1、KMeans