深度学习基础（2）——分类与回归，评价指标的设置

概述

分类算法和回归算法是对真实世界不同建模的方法。

• 分类方法是一种对离散型随机变量建模或预测的监督学习算法。其输出是离散的，例如大自然的生物种类划分，邮件分类等。
• 回归方法是一种对数值型连续随机变量进行预测和建模的监督学习算法。其输出是连续的，包括房价预测、股票走势等连续变化的案例。

分类的目的是找到决策边界，回归的目的是找到最优拟合。因此，在实际建模过程时，采用分类模型还是回归模型，取决于你对任务（真实世界）的分析和理解。

分类算法

分类问题的关键在于分类模型经过训练之后能否对新的输入样本进行类别预测。且分类算法的输出是有限个离散值。

常用算法

算法	优点	缺点
神经网络（Neural Network）	1）分类准确率高，效果好。 2）并行处理能力强。 3）分布式存储和学习能力强。 4）鲁棒性较强，不易受噪声影响。	1）需要大量参数（网络拓扑、阀值、阈值）。 2）训练时间过长。
贝叶斯分类法（Bayes ）	1）所需估计的参数少，对于缺失数据不敏感。 2）分类效率稳定。	1）需要假设属性之间相互独立，条件苛刻。 2）需要知道先验概率。 3）分类决策存在一定的错误率。
决策树（Decision Tree）	1）不需要任何领域知识或参数假设。 2）适合高维数据。 3）简单易于理解。 4）短时间内处理大量数据，得到可行且效果较好的结果。 5）能够同时处理数据型和常规性属性。	1）对于各类别样本数量不一致数据，信息增益偏向于那些具有更多数值的特征。 2）易于过拟合。 3）忽略属性之间的相关性。 4）不支持在线学习。
K近邻	1）理论比较成熟，既可以用来做分类也可以用来做回归； 2）可用于非线性分类； 3）训练时间复杂度为O(n)； 4）准确度高，对数据没有假设，对outlier不敏感；	1）计算量太大。 2）对于样本分类不均衡的问题，会产生误判。 3）需要大量的内存。 4）输出的可解释性不强。
逻辑回归（Logistic Regression）	1）速度快。 2）简单易于理解，直接看到各个特征的权重。 3）能容易地更新模型吸收新的数据。