知识图谱学习笔记（二）——机器学习基础

机器学习基础

1. 机器学习基础理论与概念

1.1 机器学习概要

机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

机器学习主要是研究如何使计算机从给定的数据中学习规律，从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对未知或无法观测的数据进行预测。

训练数据：$$(x_i,y_i),1\le i\le m$$

模型：
$$线性方法：y=f(x)=w^{T}x+b$$
$$非线性方法：神经网络$$

优化：
$$损失函数：L(y,f(x))$$
$$经验风险最小化：Q(\theta )=\frac{1}{m}\sum _{i=1}^{m}L(y_i,f(x_i,\theta ))$$
$$正则化：||\theta |{|}^2$$

优化目标函数：
$$Q(\theta )+\lambda ||\theta |{|}^2$$

1.2 机器学习问题类型

• 回归（Regression）：y是连续值，$$f(x)$$的输出也是连续值。这种类型的问题就是回归问题。对于所有已知或未知的（x, y），使得$$f(x,\theta )$$和y尽可能地一致。损函数通常定义为平方误差。
• 分类（Classification）：y是离散的类别标记（符号），就是分类问题。损失函数一般用0-1损失函数或负对数似然函数等。在分类问题中，通过学习得到的决策函数$$f(x,\theta )$$也叫分类器。

1.3 机器学习算法类型

• 有监督学习：利用一组已知输入x和输出y的数据来学习模型的参数，使得模型预测的输出标记和真实标记尽可能一致。
• 半监督学习：利用少量已知输入x和输出y的数据以及未标注的样本，来学习模型的参数。
• 无监督学习：用来学习的数据不包含标注信息，需要学习算法自动学习到一些有价值的信息，例如聚类（clustering）
  

2. 深度学习和神经网络基础

传统的机器学习：人工特征工程+分类器

深度学习：自动学习多尺度的特征表示

2.1 感知机 Perceptron

感知机是对生物神经细胞的简单数学模拟，是最简单的人工神经网络，只有一个神经元。

$$output=\{\begin{array}{cc}0& if{\sum }_j{w}_j{x}_j\\ 1& \end{array}$$