机器学习基础
1. 机器学习基础理论与概念
1.1 机器学习概要
机器学习专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。
机器学习主要是研究如何使计算机从给定的数据中学习规律,从观测数据(样本)中寻找规律,并利用学习到的规律(模型)对未知或无法观测的数据进行预测。
训练数据: ( x i , y i ) , 1 ≤ i ≤ m (x_i, y_i), 1 \leq i \leq m (xi,yi),1≤i≤m
模型:
线 性 方 法 : y = f ( x ) = w T x + b 线性方法:y = f(x) = w^Tx + b 线性方法:y=f(x)=wTx+b
非 线 性 方 法 : 神 经 网 络 非线性方法:神经网络 非线性方法:神经网络
优化:
损 失 函 数 : L ( y , f ( x ) ) 损失函数:L(y, f(x)) 损失函数:L(y,f(x))
经 验 风 险 最 小 化 : Q ( θ ) = 1 m ∑ i = 1 m L ( y i , f ( x i , θ ) ) 经验风险最小化:Q(\theta) = \frac{1}{m}\sum_{i=1}^mL(y_i, f(x_i, \theta)) 经验风险最小化:Q(θ)=m1i=1∑mL(yi,f(xi,θ))
正 则 化 : ∣ ∣ θ ∣ ∣ 2 正则化:||\theta||^2 正则化:∣∣θ∣∣2
优化目标函数:
Q ( θ ) + λ ∣ ∣ θ ∣ ∣ 2 Q(\theta) + \lambda||\theta||^2 Q(θ)+λ∣∣θ∣∣2
1.2 机器学习问题类型
- 回归(Regression):y是连续值, f ( x ) f(x) f(x)的输出也是连续值。这种类型的问题就是回归问题。对于所有已知或未知的(x, y),使得 f ( x , θ ) f(x, \theta) f(x,θ)和y尽可能地一致。损函数通常定义为平方误差。
- 分类(Classification):y是离散的类别标记(符号),就是分类问题。损失函数一般用0-1损失函数或负对数似然函数等。在分类问题中,通过学习得到的决策函数 f ( x , θ ) f(x,\theta) f(x,θ)也叫分类器。
1.3 机器学习算法类型
- 有监督学习:利用一组已知输入x和输出y的数据来学习模型的参数,使得模型预测的输出标记和真实标记尽可能一致。
- 半监督学习:利用少量已知输入x和输出y的数据以及未标注的样本,来学习模型的参数。
- 无监督学习:用来学习的数据不包含标注信息,需要学习算法自动学习到一些有价值的信息,例如聚类(clustering)
2. 深度学习和神经网络基础
传统的机器学习:人工特征工程+分类器
深度学习:自动学习多尺度的特征表示
2.1 感知机 Perceptron
感知机是对生物神经细胞的简单数学模拟,是最简单的人工神经网络,只有一个神经元。
o u t p u t = { 0 i f ∑ j w j x j ≤ t h r e s h o l d 1 i f ∑ j w j x j < t h r e s h o l d output= \left\{ \begin{matrix} 0 & if \sum_j w_j x_j \leq threshold\\ 1 & if \sum_j w_j x_j < threshold\\ \end{matrix} \right. output={
01if∑jwjxj