hyper-Parameter auto tuning 机器学习自动调参 (gpu设置)--nni库

引言

随着这几年深度学习的大火，入了坑才发现 机器学习虽然智能，但是调参是个很大的坑。得益于这几年工具的发展，autoML有了进展。炼丹师们有救了。

本文就以nni库为例，来说明具体如何设置gpu。在nni的introduction中直接忽略了这部分，造成了配置文件中虽然设置了gpuNum:1，nvidia-smi操作后发现后台几乎没有调用gpu。去查日志文件才发现：gpu_metrices file not exit.

prerequisite

测试环境： Ubuntu 16.04
所需安装库: cuda, tensorflow, nni

解决方案

在配置文件中，加入如下一行：

localConfig:
  useActiveGpu: true

完整配置文件如下：
先去拷贝库的源代码，找到example部分

git clone -b v1.5 https://github.com/Microsoft/nni.git

cd 进入 ./nni/examples/trials/mnist-annotation目录

mnist-config_gpu.yml文件如下所示：

authorName: default
experimentName: example_mnist
trialConcurrency: 1
maxExecDuration: 1h
maxTrialNum: 10
#choice