机器学习常见算法概述

注：本文为转载，原创文章连接如下：（非常非常感谢博主大大！！！）https://blog.youkuaiyun.com/a819825294/article/details/52275798

原创

机器学习常见算法概述

2016-08-22 14:34:28 雪伦_ 阅读数 4813 更多

分类专栏： 机器学习 机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.youkuaiyun.com/a819825294/article/details/52275798

            </div>
                                                <!--一个博主专栏付费入口-->
         
         <!--一个博主专栏付费入口结束-->
        <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css">
                                    <div id="content_views" class="markdown_views prism-atom-one-dark">
                <!-- flowchart 箭头图标 勿删 -->
                <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                    <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                </svg>
                                        <p></p><center><font size="4" color="009900">本文主要包括常见机器学习算法的实现，其中数学推导、原理、并行实现会给出链接。</font></center><p></p>

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

1、K近邻（KNN）

算法

逼近离散值函数f的KNN算法

修改目标函数，则可以逼近连续值的目标函数

可以使用距离加权

其中

实现

（1）C++版本 http://blog.youkuaiyun.com/mimi9919/article/details/51172095
（2）python版本 可以参考机器学习实战

2、感知机

一篇介绍感知机原理很不错的文章：http://blog.youkuaiyun.com/dream_angel_z/article/details/48915561

感知机的损失函数是误分类点到超平面的距离

算法

实现

（1）C++版本 http://blog.youkuaiyun.com/idmer/article/details/49365301

3、朴素贝叶斯

算法

实现

（1）C++版本 http://blog.youkuaiyun.com/idmer/article/details/48809677

4、分类回归树（CART）

CART由ID3,C4.5慢慢演化而来，是许多基于树的bagging、boosting模型的基础，非常重要。

算法

其中，5.25如下

实现

（1）C++版本 http://blog.youkuaiyun.com/a819825294/article/details/51995323
（2）python版本 可以参考机器学习实战

5、逻辑斯蒂回归（LR）

算法

（1）模型参数估计

（2）梯度下降学习参数

（3）最终模型

更多原理

http://blog.youkuaiyun.com/a819825294/article/details/51172466

实现

（1）C++版本 http://www.chawenti.com/articles/15254.html
（2）python版本 可以参考机器学习实战

分布式

http://www.youkuaiyun.com/article/2014-02-13/2818400-2014-02-13

6、支持向量机（SVM）

算法

更多原理

http://blog.youkuaiyun.com/a819825294/article/details/51679152

实现

（1）C++版本 libsvm
（2）python版本 可以参考机器学习实战

7、神经网络（NN）

算法

实现

（1）C++版本 https://github.com/matthewrdev/Neural-Network

8、随机森林（RF）

算法

更多原理

http://blog.youkuaiyun.com/a819825294/article/details/51177435

实现

（1）C++版本 http://download.youkuaiyun.com/download/qq_17506541/8866653

9、AdaBoost

算法

实现

（1）C++版本 http://blog.youkuaiyun.com/a819825294/article/details/51995323
（2）python版本 可以参考机器学习实战

10、梯度提升树（GBDT）

算法

更多原理

http://blog.youkuaiyun.com/a819825294/article/details/51188740

实现

（1）C++版本 http://blog.youkuaiyun.com/a819825294/article/details/51995323

11、XGBoost

更多原理

http://blog.youkuaiyun.com/a819825294/article/details/51206410

实现

https://github.com/dmlc/xgboost

12、KMeans

算法

实现

（1）C++版本 http://blog.youkuaiyun.com/qll125596718/article/details/8243404

13、PCA

算法

参考文献
（1）《机器学习》 卡内基梅隆大学 Tom M.Mitchell
（2）《机器学习》 周志华
（3）《统计学习方法》 李航

文章最后发布于: 2016-08-22 14:34:28