CNTK从入门到深入研究（3） - Network Builders

最新推荐文章于 2023-04-13 17:57:10 发布

原创

最新推荐文章于 2023-04-13 17:57:10 发布 · 4.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #CNTK #深度学习 #神经网络 #微软

前言

在上一篇文章中已经介绍了CNTK配置文件的基本语法以及组成部分。在讲解任务块部分时，有提及在一定的action情况下，需要我们定义Network Builder以定义网络模型，并执行网络模型的训练。本文将着重讲解目前CNTK中提供的两种Network Builder的使用方法。
（还存在第三种BrianScript，由于没有官方的文档作参考，所以暂时不加以评论）。

Network Builders 网络创建器

目前支持两种Network Builder（也许存在第三种）, 分别是：

SimpleNetworkBuilder
NDLNetworkBuilder
BrianScript（这个是在代码中发现的第三种，但是没有详细记录如何使用）

SimpleNetworkBuilder

根据名字可以看出这个是一个简单的网络创建器。使用方式也相对简单，缺点是不够灵活。但是用于定义一些一般情况的网络模型，其所提供的功能基本已经够了。

SimpleNetworkBuilder = [
    # 2 inputs, 2 hidden layers with 50 element nodes each, 2 outputs
    layerSizes = 2:50*2:2
    trainingCriterion = "CrossEntropyWithSoftmax"
    evalCriterion = "ErrorPrediction"
    layerTypes = "Sigmoid"
    applyMeanVarNorm = true
]

SimpleNetworkBuilder 的网络模型定义完全由配置参数给出，下面针对每一个配置参数详细的进行说明：

initValueScale

initValueScale参数用于设定初始化随机数的范围。默认值为1。在使用平均分布时，随机数的产生范围是[-0.05 * initValueScale, 0.05 * initValueScale]，在使用正态分布时，标准差的范围是0.2 * initValueScale * fanout^(-1/2)。