机器学习算法汇总

分类算法

• Rosenblatt感知机
• 线性回归
  
• Logistic回归
  
• Softmax Regression
• K-近邻算法
• AdaBoost
• 朴素贝叶斯分类器
• 决策树——ID3
• 决策树——CART
• 支持向量机（SVM）
• EM算法
• 神经网络之BP神经网络
• 极限学习机（ELM）
• 在线顺序极限学习机（OS-ELM）
• 因子分解机（Factorization Machine）
  

聚类算法

• K-Means
• 基于密度峰值的聚类算法
• 基于密度的聚类算法DBSCAN
• 谱聚类（Spectal Clustering）

关联分析

• 协同过滤推荐算法
• Apriori算法
  

特征选择、提取

• 奇异值分解（SVD）
• 主成分分析（PCA）
• 独立成分分析（ICA）
  
• 岭回归（Ridge Regression）
  
• lasso
  

优化算法

• 梯度下降法
• 共轭梯度法
• 牛顿法
• 序列最小化（SMO）
  
• 拟牛顿法—DFP算法
• 拟牛顿法—BFGS算法
• 拟牛顿法—L-BFGS算法
• 遗传算法
• 模拟退火算法
• 差分进化算法（DE）
• 粒子群算法（PSO）
• 人工蜂群算法（ABC）
• 蚁群算法（ACO）

深度学习

• 基于深度信念网络（DBN）
• 混合高斯模型（GMM）
• 卷积神经网络（CNN）
• 受限玻尔兹曼机（RBM）