xhblair的博客

本文对降维算法做了梳理，首先给出了降维处理的基本概念做了介绍，简要探讨了其基本原理、在机器学习中的定位(必要性)、优缺点、以及典型的降维算法有哪些。 随后，分别以线性降维方法中的PCA算法、非线性降维方法中的t-SNE算法为研究对象，阐述了其基本原理，给出了基于算法的降维实践结果。

​本文探讨朴素贝叶斯算法，具体地，首先对该算法相关的概念进行了介绍，随后给出了基于该算法进行分类实践的典型处理流程，最后结合理论对Iris数据集进行了分类实践，结果符合预期，验证了理论和代码的正确性。有关朴素贝叶斯算法还有很多的拓展：如半朴素贝叶斯、贝叶斯网络等等，感兴趣的读者可以自行查找资料做拓展研究。 本文的工作进一步丰富了专栏[2]：机器学习_墨@#≯的博客-优快云博客的工具箱！为后续更复杂的深度学习等内容的理解和实践打下了基础。

本文对传统机器学习相关内容做了梳理。包括：传统机器学习与现代机器学习的对比、传统机器学习中典型的模型和算法、传统机器学习的特点以及应用等。内容其实很简单(好像说了些什么，又好像什么都没说)。 对相关概念更深入的理解，特别是对与现代机器学习区别的理解可能需要从项目实践中获取。 本文的内容算是先占个坑，后续如果有更多概念知识、实践感触等我再做补充。

本文围绕KNN算法展开，首先对其实现原理和一些实现细节做了论述，随后基于该算法分别进行了回归和分类实践，实践结果都符合预期。

本文对回归(线性回归)和分类(逻辑回归、Softmax回归)中的过拟合问题进行了探讨和实践。首先对欠拟合、过拟合现象及其背后的原因做了解释；随后引入了正则化的概念，对正则化的原理进行了说明，并分别给出了：线性回归、逻辑回归以及Softmax回归三类模型下的正则化方法和权值更新公式；最后在前述理论的基础上，实践了线性回归和逻辑回归的正则化。

本文对Softmax回归做了探讨和实践。首先对Softmax回归的概念做了基本介绍；随后从模型、优化准则、优化算法三个方面对Softmax实现多分类的原理和方法进行了阐述；最后，在前述理论的指导下，自编代码实践了对UCI里的Iris(鸢尾花卉)数据集的分类。

本文对适用于机器学习里的回归、分类问题的高级优化算法做了简单的介绍，随后介绍了Matlab自带的非线性规划求解器：fminunc函数，并基于该函数对曲面最小值问题、直线回归问题进行了求解尝试。

本文对逻辑回归进行了探讨和实践。首先，结合在之前的博文中探讨过的线性回归和感知机，对逻辑回归的相关概念和理论进行了阐述；随后，在理论的指导下，自编代码实践了二分类和多分类，分类的结果都符合预期。(读者可以基于本文提供的代码做更多的尝试：比如改变学习率、实践一对一思路下的多分类、实践其它的数据集)

本文对机器学习的基本问题之一：回归问题，做了比较系统、详尽的理论论述和实践。在理论论述部分:在梳理回归问题有关概念时，着重论述了机器学习三要素：模型、学习准则(代价函数)、优化算法在回归问题中各自所扮演的角色，并进一步地给出了处理回归问题的典型流程。 在实践部分：分别构建了多项式模型和线性模型，并分别使用正规方程法和(批量)梯度下降法，对样本特征数为1和样本特征数为6的两份数据集进行了回归实践，回归的效果符合预期，验证了理论以及所编代码的正确性。

最小二乘拟合法是一个很常用(且很通用)的数学工具，本博文介绍了最小二乘拟合的相关概念与原理，随后分别基于代数求解和Matlab自带函数两种方式仿真实践了该方法，并做了一些有益的讨论，特别是关于过拟合问题。

本文对K-means算法进行了实践。首先对K-means算法进行了简单的介绍，并给出了其典型的算法流程图。随后分别给出了基于K-means算法对Iris数据集、自己生成的二维平面点簇形数据集的聚类结果。

本文对DBSCAN算法进行了实践。首先对DBSCAN算法进行了介绍，给出了其典型的算法流程图、对其涉及的两个核心概念：邻域半径和最小样本数进行了介绍，并以车载雷达数据处理为例对这两概念做了更深入的探讨。随后比较详尽地介绍了Iris数据集，并分别给出了基于DBSCAN算法对Iris数据集、自己生成的二维平面点簇形数据集的聚类结果。

本文对聚类算法做了一些宽泛性/框架性的介绍。具体地，介绍了几种聚类算法、给出了一个可用作聚类算法实践的数据集、给出了一种自己生成二维平面内点簇的方法以及生成的结果、介绍了4种聚类结果的客观评价指标。本文的工作为后续基于具体的聚类算法的实践打下了基础。

本文承接本系列第一篇博文[1]的内容，基于SVM对两个比较典型且简单(不需要我们做太多的数据预处理工作)的公开数据集进行了分类实践。至少从流程上跑通了关于SVM实践的整个过程，分类的结果基本符合预期，不过还需要进一步优化超参数以提高模型的准确率。

本博文(本系列博文)的目的在于捋清楚有关SVM的各个概念及其相互之间的关系，梳理基于SVM的实践流程，此外本系列博文也对多个数据集进行了分类实践。

本文围绕机器学习中基础的感知机模型展开，首先对其基本概念进行了介绍，随后给出了感知机的数学模型以及模型的求解方法(引入了损失函数，通过优化该函数来求得感知机的二分类模型)，最后分别对其原始形式和对偶形式做了说明，并分别进行了仿真实践，实践的结果验证了理论以及所编代码的正确性。本文的工作很基础，不过为后续更复杂的多分类、SVM模型以及众多机器学习算法的认识和理解打了点基础。

本文作为机器学习专栏的第一篇文章，对 AI相关的概念以及机器学习的一些基础知识做了梳理和介绍