深度学习反思
伴随着计算机硬件性能的提升,深度学习在当今如同时代的宠儿,Computer Vision,Data mining,Nature Language Process....都搭上深度学习的专车,并最终坐上了波音客机。深度学习的框架一个接一个的浮出水面,caffe,tensor flow,cxxnet, mxnet....,而且这些框架已经不屑于在单机单卡的圈圈里面混迹了,他们借助hadoop以及spark这些大数据操作的的燃料,俨然是要造出火箭了。
这些深度学习的富豪们丝毫不把成本和规模放在眼里,这秉性确更像富二代,哈哈。本文权当是给这些富二代送去一些不痛不痒的警示吧。
深度学习最终拟合的模型,对数据的分类确实很有效,对于数据的边界也的确能划分的很好。这些训练后的模型,相当于众多非线性的函数叠加生成的结果。很少paper关注这些非线性函数的相关性,倘若在确定神经元之间的连接和权重后,能对每条神经元的线路统计,并确定这些神经元组成的非线性函数组成的空间,并从中提取正交的函数集,是不是能减少网络的规模呢?
日后打算研究下这个方向,却是真知“拙”见,希望大家不要见笑