机器学习总结1

一、机器学习总览

1）、什么是机器学习算法

给出一个任务T，该算法能自主学习完成任务T的经营E，从而提高完成任务T的完美度P。

2）、机器学习算法分类

a)、监督学习算法、无监督学习算法、增加学习算法（该类算法解除较少）

b)、根据输入、输出变量，分为连续性算法和离散型算法。

二、高等数学知识

1）夹逼定律回顾

例子：

得出结论：

2）倒数

a）、跳跃表（Skip list）  其查询负责度为（2logn=logn）

最耗时查询46需要6次查询。即L4访问55，L3访问21、55，L2访问37、55，L1访问46。故查询46的次数为：logn+logn，即2logn。所以时间复杂度为O(logn)

b）、梯度下降算法

3）泰勒公式

• a）、数据公式
• 
• b）、公式应用
• 可以把复杂的公式转化为简单的多项式计算。
• 如：后期熵的计算（）
• 其中通过泰勒展开式，在处的一阶展开，.
• 所以

4）凸函数 

• 如果该函数为凸函数则满足如下定理：
• 
  
• 该定理推广：
• 
  
• 其中：；

三、概率论知识

1）条件概率

2）全概率公式

3）贝叶斯公式

 ：没有数据支持下，发生的概率，即先验概率

：在数据的支持下，发生的概率，即后验概率

：给定某参数的概率分布，即似然函数。