weixin_40296305的博客

【微软AutoML】 NNI实现的Tuner分析与总结 何为Tuner 所谓Tuner，直译就是调参器，也就是用来搜索参数空间的算法，搜索就搜索嘛，为啥要个Tuner呢？这是因为参数空间太大了。即使是对于离散的超参数，假设每个都有三种可能取值，参数空间大小也会是以3为底指数级增长，倘若是有drop_out这样的连续变量，则有无限多种取值，因此遍历参数空间是不可能的，需要一些启发式的优化算法。 NN...

微软AutoML工具 NNI 安装及使用体验 AutoML是机器学习中一个新的方向，用自动的方式寻找超参数组合，志在解决老大难的调参问题。众所周知，调参在炼丹术中是非常重要的，神经网络的大小、层数、学习率、Dropout等等都是超参数，都需要人为确定，而这个过程几乎是玄学。Google曾经在一篇研究LSTM的文章中（貌似叫On the state of the art of evaluation ...

【微软AutoML】 NNI实现的assessor分析与其他assessor调研 Assessor顾名思义就是评估器，功能在于评价当期训练的效果如何。实际上，人工调参也需要一定的评价标准，通常就是把曲线画出来，看一看Train/Test集合上的Performance，然后看看准确率是否变的平缓（收敛），是否出现了Train上升但是Test下降的情况（过拟合），等等。通常我们希望看到的是前者，也就是...