MXNet学习

1. 深度学习的编程模式比较

http://blog.youkuaiyun.com/mydear_11000/article/details/50805585

符号式程序（symbolic style programs）和命令式程序（imperative style programs）:

符号式程序构建好一张图，再编译（优化和分配内存），交给输入值，执行；有利于优化内存(in place中间结果的内存，复用上一层的内存），合并计算（大粒度的层有利于GPU CUDA核启动尽可能少，计算并行度大）

    如果只执行Forward计算，可以在编译时声名，这样就不生成用于Backward计算时储存中间结果的空间了；

命令式程序每条语句都执行一下；不利于优化，要为未来做所有的准备；