【深度学习】线性分类器 - 上

线性分类器设计

1、为什么从线性分类器开始

• 形式简单、易于理解
• 通过层级结构（神经网络）或者高维映射（支撑向量机）可以形成功能强大的非线性模型

2、什么是线性分类器

• 线性分类器是一种线性映射，将输入的图像特征映射为类别分数

3、线性分类器定义

• x代表输入的d维图像向量，c为类别个数
• wi = [w1i … wid] T 为第i个类别的权值向量，bi为偏置
  fi(x,wi) = wiTx + bi, i = 1, … ,c

4、线性分类器的决策

5、线性分类器的矩阵表示

6、线性分类器的权值向量

7、线性分类器的决策边界

线性分类器训练过程：

1、线性分类器定义

2、线性分类器的权值

3、线性分类器的分界面

4、损失函数定义

什么是损失函数？
损失函数搭建了模型性能与模型参数之间的桥梁，指导模型参数优化。

• 损失函数是一个函数，用于度量给分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值。
• 其输出的非负实值可以作为反馈信号来对分类器参数进行挑战，以降低当前示例对应的损失值，提升分类器的分类效果。

损失函数的一般定义：
L = 1/N ∑ Li(f(xi,W), yi)
xi表示数据集中第i张图片；<