MXNet学习笔记——2 Symbol

最新推荐文章于 2022-11-05 01:25:33 发布

'Themis'

最新推荐文章于 2022-11-05 01:25:33 发布

阅读量563

点赞数

CC 4.0 BY-SA版权

分类专栏： MXNet

本文链接：https://blog.youkuaiyun.com/s000da/article/details/89396297

MXNet 专栏收录该内容

8 篇文章

订阅专栏

本笔记详细记录了作者从Keras和TensorFlow转向MXNet的学习过程，重点介绍了Symbol API的概念、创建基础占位符和神经网络的方法，以及如何模块化构建深层网络和实现模型结构的可视化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写在前面

本系列博客记录了作者上手MXNet的全过程。作者在接触MXNet之前主要使用keras，和一点tensorflow，因此在上手MXNet之前有一点deep learning的项目基础。主要参考资料为MXNet官方教程，也阅读了一些有价值的博客。

博客结构为：先列出作者对于该阶段的期望目标，以及各目标完成过程中的笔记（仅记下个人认为重要的），再附上学习过程中自己的提问（solved & unsolved，天马行空的提问，欢迎讨论）。

Table of Contents

本阶段目标

任务	优先级	预计花时间	完成状态	遇到问题	补充
学习Symbol	P0	1.5hour	$\checkmark$

具体笔记

Symbol API概念

符号式编程。我们首先定义一个计算图，而不是一步步的执行计算。计算图中包含了用于代表输入输出数据的占位符。然后通过编译计算图，生成一个函数，和NDArray绑定后即可运行。MXNet的Symbol API和Caffe使用的网络配置以及Theano中的符号式编程很相似。

Symbol创建基础占位符

a = mx.sym.Variable('a')

Symbol创建基础神经网络

net = mx.sym.FullyConnected(data=net, name='fc1', num_hidden=128)

模块化构建深层网络

def块，将块堆叠

def ConvFactory(data, num_filter, kernel, stride=(1,1), pad=(0, 0), name=None, suffix=''):
    # 常见的结构中，每一个卷积模块都是由卷积，BN和激活组成
    conv = mx.sym.Convolution(data=data, num_filter=num_filter, kernel=kernel,
                  stride=stride, pad=pad, name='conv_%s%s' %(name, suffix))
    bn = mx.sym.BatchNorm(data=conv, name='bn_%s%s' %(name, suffix))
    act = mx.sym.Activation(data=bn, act_type='relu', name='relu_%s%s'
                  %(name, suffix))
    return act

def InceptionFactoryA(data, num_1x1, num_3x3red, num_3x3, num_d3x3red, num_d3x3,
                      pool, proj, name):
    '''
    通过将基本模块组合成结构部件进行进一步的调用。
    其中pool指定了池化层的类型，一般选用最大池化
    '''
    # 1x1卷积
    c1x1 = ConvFactory(data=data, num_filter=num_1x1, kernel=(1, 1), name=('%s_1x1' % name))
    # 1x1通道缩减 + 3x3卷积
    c3x3r = ConvFactory(data=data, num_filter=num_3x3red, kernel=(1, 1), name=('%s_3x3' % name), suffix='_reduce')
    c3x3 = ConvFactory(data=c3x3r, num_filter=num_3x3, kernel=(3, 3), pad=(1, 1), name=('%s_3x3' % name))
    # 1x1通道缩减+ 3x3卷积×2（但是在原生结构中此处应为5×5卷积）
    cd3x3r = ConvFactory(data=data, num_filter=num_d3x3red, kernel=(1, 1), name=('%s_double_3x3' % name), suffix='_reduce')
    cd3x3 = ConvFactory(data=cd3x3r, num_filter=num_d3x3, kernel=(3, 3), pad=(1, 1), name=('%s_double_3x3_0' % name))
    cd3x3 = ConvFactory(data=cd3x3, num_filter=num_d3x3, kernel=(3, 3), pad=(1, 1), name=('%s_double_3x3_1' % name))
    # 3×3池化 + 1×1卷积
    pooling = mx.sym.Pooling(data=data, kernel=(3, 3), stride=(1, 1), pad=(1, 1), pool_type=pool, name=('%s_pool_%s_pool' % (pool, name)))
    cproj = ConvFactory(data=pooling, num_filter=proj, kernel=(1, 1), name=('%s_proj' %  name))
    # concat
    concat = mx.sym.Concat(*[c1x1, c3x3, cd3x3, cproj], name='ch_concat_%s_chconcat' % name)
    return concat

prev = mx.sym.Variable(name="Previous Output")
in3a = InceptionFactoryA(prev, 64, 64, 64, 64, 96, "avg", 32, name="in3a")
mx.viz.plot_network(symbol=in3a, shape=shape)
prev = mx.sym.Variable(name="Previous Output")
conv_comp = ConvFactory(data=prev, num_filter=64, kernel=(7,7), stride=(2, 2))
shape = {"Previous Output" : (128, 3, 28, 28)}
mx.viz.plot_network(symbol=conv_comp, shape=shape)

构建多符号组

使用Group将不同输出结合在一起

group = mx.sym.Group([out1, out2]) # 这个和concat有什么区别？

模型结构可视化

不显示shape:

import matplotlib.pyplot as plt
import mxnet as mx

batch_size = 100
data_shape = (batch_size, 784)
mx.viz.plot_network(softmax).view()
效果如左图

显示shape:

import matplotlib.pyplot as plt
import mxnet as mx

batch_size = 100
data_shape = (batch_size, 3, 224, 224)
mx.viz.plot_network(softmax, shape={"data":data_shape}, node_attrs={"shape":'oval',"fixedsize":'false'}).view()

问题记录

About Question Answer

MXNet

mx.viz.plot_network(symbol=g)
mx.viz.plot_network(net)

可视化怎么显示？

mx.viz.plot_network(net, shape={'data':(100,200)}).view()
遇到报错“graphviz.backend.ExecutableNotFound: failed to execute ['dot', '-Tpdf', '-O', 'plot.gv'], make sure the Graphviz executables are on your systems' PATH”是因为系统也要安装graphviz