损失函数，激活函数与归一化函数

近日学习深度学习，发现有一些模型有点不太清楚，尝试捋顺，如果不对，还望指正

首先是线性模型，这相当于是我们学习的函数y=wx，w是参数矩阵，我们的任何线性模型，比方说svm等，都是为了求出这个w，所以过程虽然不同，最后的结果都是得到一个w。

然后我们得到的会是一个向量，向量中的结果是经过这样的学习后，得到的一个值，我们可以认为这个值就是结果。是分类的可能。但是我们会加入一个叫softmax的东西，这个是归一化函数，目标是让所有的概率值和为1，这样达到了归一化的结果

然后我们会使用损失函数，损失函数会让我们的最终结果和实际结果进行比较。这个比较的量化过程是由损失函数实现的。而这个又有很多选择，如果是二分类，比方说svm（我猜的，我还没学）。那么我们会用一个量化的损失函数，因为他是二值化的，所以很简单，这样的损失函数也有名字，svm常用的叫svm损失函数。另一种是多分类，因为分类很多，我们用概率进行量化，也就是softmax，而我们会用softmax损失函数进行评估，这时候就是量化的评估好和坏了，因为值比较多，损失函数也不一样。但是softmax损失函数，只是一个习惯的称呼，因为softmax只是用来归一化，严格来说没有损失函数

而到了神经网络阶段，因为我们有很多隐士的层，为了避免这些层总是线性的搭积木，我们使用获得了激活层，使用激活层，可以有效避免我们只是搭积木，但是最后的损失函数和归一化层，还是可以用的