github_15579971的博客

原创 回归问题的损失函数

PRML里有一节讲了回归问题的损失函数，用到了泛函和变分法，但是推导过于简略，这里补充一下详细过程。首先平均损失为：如果损失函数用均方误差，则为：设 则根据变分法有当 取极值时，满足条件 然后做如下推导：由于 里实际没有 这一项，故上式第二项为0，而：代入上式得： ，因为 为任意可微函数，故有： ,做积分得： 而 代入得： 所以可以看到t的均值即为最优解。...