林轩田机器学习基石课程学习笔记2. Learning to Answer Yes/No

Learning to Answer Yes/No

---

回顾: 有一个A,看D和H set,从H set里面选一个g,当成学到的技能(要不要给顾客发信用卡这样一个公式),今天讲机器怎么解决要不要发信用卡的问题,或者说,怎么去解决是非题.

---

Perceptron Hypothesis Set

-介绍一个具体的H的长像. perceptron(感知器),把问题数学化,就可以用一个公式来表示了.

• 可以看一看 h具体长什么样子,h对应到平面上的一条线.
• 上面的是在二维空间里的

Perceptron Learning Algorithm (PLA)

• 知道了h的长像,如何从这么多h里面选择一条最好的出来?
• 不知道f,希望在看过的资料里面一样.
• 拿一条线在手上,犯错误后,修正一下.
  
• 初始的w可以全是0
  1. 如果线不完美,可以找到一条线犯了错误(这时候看作是在3维空间上)
  2. 修正的公式如上
  3. 更新到不再犯错为止
     
• 会不会停下来.g和f一不一样?

Guarantee of PLA

• 如果线性可分,PLA会停下来吗
  
• 到这里只证明了,可以越来越接近(product变大了)
  -
• 这里没有具体证明,李航的书上有明确的证明.

Non-Separable Data

• PLA好处是很快
• 坏处是,需要假设资料线性可分的,就算是线性可分的,也不知道什么时候会停.
  
• 机器学习的设定并不是说,资料一定很完整的从f中产生出来的.产生资料,收集资料的过程中可能有一些杂讯.
  -
• 首先,杂讯应该是很少的,如果杂讯很多的话,就没有学习的必要了.
• 找一条犯错误最少的线.
• 这个问题被证明是NP hard
  
• 找一条差不多的线.
• 用随机找错误的方法.

---

介绍了线性解是非题的办法. PLA只在线性可分的时候有用.不是线性可分pocket也可以做的很好.
下一次课机器学习不只可以做是否题,可以做其它的问题,和其它资料的形式.