CS231N 不权威笔记(一)

CS231N 不权威笔记(一)

---

分值函数（score function）

将原始数据（输入的数据经过预处理）映射每个类对应的分值，分值越高，该类的可能性越大

损失函数（loss function）

表示预测结果和真是类标签之间的差

优化，最小损失函数

通过优化分值函数中的参数权重

数据集

训练集（training dataset），用于训练模型（即训练模型的表达能力）
验证集（validation dataset），用于微调模型的超参数，使模型性能达到最优
测试集（test dataset），测试模型的泛化能力

如果存在一个训练集 X 表示为一个大小为[N,D]的矩阵
N表示样本数量
D表示样本的维数
xi是X中的第i行，即第i个样本

y表示一个向量，大小为[1,N]
yi表示第i个样本的真实类别，yi=1,2,3, …,C

---

f(xi, W, b) = xiW + b

其中W是权重矩阵，大小为[D,C]
W的第j列表示xi在第j(1≤ j ≤C)个类别上的线性映射
b是偏置向量，大小为[1,C]
f的大小为[N,C]
函数f(xi, W, b) 的值就是C在每个类别上的得分

图片中的结果认为这很可能是一只狗，说明W和b的值没有训练好。