Neural Networks for Machine Learning（系列）letcure 1

前言

为了给事物建模。就必须理想化他
这样可以移除一些不必要的复杂细节
允许我们运用数学的知识，并推理其他相近的领域
一旦我们领悟到主要核心的知识，那么增加复杂信息以使模型更加合理将会变得更加的简单。

一些简单的神经元

1. 线性神经元
   格式： y=b+$\sum w^Tx$
   图形是：一条直线

2. 阈值型神经元
   组合一些命题，得到其他命题
   有两种形式（见下，他们的联系就是$\Theta =-b$），其实都是一样的。
   
   图形是：
   

3. 分段式线性神经元
   该神经元其实是组合了 线性神经元和阈值神经元
   公式：
   
   注意：大于0是输出是，z而不是1.
   图形：
   

4. Sigmoid神经元
   该神经元有光滑的导函数，即其导数是连续的。
   公式：
   图形：
   

5. 随机阈值神经元
   和4一模一样。只是输出的不是概率，而是0或者1.

安装Octave

Octave链接
Octave官方文档