损失函数的可视化：浅论模型的参数空间与正则

关注“迈微AI研习社”，内容首发于公众号

作者丨土豆@知乎

来源丨https://zhuanlan.zhihu.com/p/158857128

本文已获授权，不得二次转载

前言

在深度学习中，我们总是不可避免会碰到各种各样的损失函数。通常来说，损失函数都是高维的函数，难以可视化为人类可以分辨的二维或者三维形式，因此这里介绍一种通过在高维空间中切片的损失函数可视化手段，并且讨论下模型的参数空间。

模型的参数空间

我们知道，在机器学习，特别是深度学习中，整个模型有着数以万计，百万计的参数，包括有权值，偏置等，这些参数通常来说都是实数，如果用表示模型的所有参数，既是，其中就可以表示模型的参数量。我们可以知道，的每个分量都是可以自由取值的，当每个分量遍历了所有可能的取值时，我们不妨把模型