机器学习初识

课程名称

Neural Networks for Machine Learning

机器学习分类

有监督学习

预测或者分类的结果是事先知道的。如：对于预测问题，事先知道了具体预测值或者值的范围；分类问题，类别是事先知道的（其实分类问题都是有监督学习，因为分类问题隐含给出了分类结果）。

典型的有监督学习是分类问题、回归问题。

根据问题结果是连续值还是离散值，将其分为回归问题和分类问题。回归问题可以分为线性回归和非线性回归。线性回归的因变量是一次的，二非线性回归因变量最少为二次。多元线性回归因变量至少两个，这里因变量在机器学习领域又称为特征，当问题的特征规模太大时，我们需要使用一定的方法进行特征降维，图像领域普遍将特征降维过程称为特征提取。

回归问题

回归问题是预测结果集为连续值的问题，而分类问题预测结果为离散值。在回归问题中，解决思路是先将训练集中特征与结果进行二维平面可视化，这么做主要是研究训练集实例的分布。通过观察分布，选择具体的解决办法。例如，如果实例大致分布在一条直线上，我们可以用线性回归来解决，即用线性函数拟合（拟合就是把平面上一系列的点，用一条光滑的曲线连接起来）。如果实例分布在一条曲线上，即属于非线性函数拟合，具体函数需要我们自己比对。无论是线性回归还是非线性回归，都事先假定训练集（数学中称为样本）的分布可以用函数来表示，而理论上函数是关系的抽象，所有事物必然存在某种关系。对于更复杂的问题，不能用已知函数直接表示，这时可以用分段函数来表示，每一个范围用不用的表达式表示。

所以一定先搞清训练集的分布，由分布决定回归函数。

强化学习

无监督学习

与有监督相反，无监督学习事先不能确定结果。

典型的无监督学习是聚类问题。

神经元分类

线性神经元

阈值型神经元

随机阈值神经元

Sigmoid神经元

tanh神经元