深度学习反思

深度学习反思

伴随着计算机硬件性能的提升，深度学习在当今如同时代的宠儿，Computer Vision，Data mining，Nature Language Process....都搭上深度学习的专车，并最终坐上了波音客机。深度学习的框架一个接一个的浮出水面，caffe，tensor flow，cxxnet， mxnet....，而且这些框架已经不屑于在单机单卡的圈圈里面混迹了，他们借助hadoop以及spark这些大数据操作的的燃料，俨然是要造出火箭了。

这些深度学习的富豪们丝毫不把成本和规模放在眼里，这秉性确更像富二代，哈哈。本文权当是给这些富二代送去一些不痛不痒的警示吧。

深度学习最终拟合的模型，对数据的分类确实很有效，对于数据的边界也的确能划分的很好。这些训练后的模型，相当于众多非线性的函数叠加生成的结果。很少paper关注这些非线性函数的相关性，倘若在确定神经元之间的连接和权重后，能对每条神经元的线路统计，并确定这些神经元组成的非线性函数组成的空间，并从中提取正交的函数集，是不是能减少网络的规模呢？

日后打算研究下这个方向，却是真知“拙”见，希望大家不要见笑