深度学习之路—写在开题前

明天即将研究生开题答辩，旁边机器还在跑着程序验证最新的网络结构，在笔记本上敲打心情日记。接到深度学习目标识别的题目真是阴差阳错，今年4月份alphago获胜的时候，王老师表示很关心这个方向，希望我们也做一个“狗”出来。我们都把它当玩笑了，事后，我尝试接触神经网络的知识，就想轻碰这个坑，拿它预测个波形就行了，也没想到日后会成为研究方向。

       正直同学们都很关注机器学习，无意间女票跟我提了coursera吴恩达的机器学习教程。我就注册了个号，跟着视频学习，在神经网络这块学的比较认真。同时，结合着李航的《统计学习方法》从理论上辅助理解。看完神经网络部分后，我没有往下看支持向量机的部分，就做了神经网络识别mnist的作业，并打算做fpga实现，因为实验室本来是以硬件为主，打算做个硬件加速实现神经网络。后来只做了最后的test部分，并发了篇水文。

       再到后来，王老师知道我在研究神经网络相关的东西，扔给我一本《深度学习方法及应用》。翻了一遍完全看不懂，发现坑很深。于是在网上找到了standford的ufldl教程，又开始学习和深度学习相关的知识，从softmax开始。在这个过程中，通过作业，基本了解了卷积神经网络的模型，还做了相关的调参实验。

       做了简单的调试实验后，模型只局限于4层，而且不好扩展。恰好是matlab的作业题，故搜到matlab的深度学习工具，deeplearningtool。把框架代码阅读了一遍，其中BP那部分至少读了n遍。那是个6层的神经网络，一个输入，两组conv-pool，一层softmax。又做了若干调参实验。后来又自行添加了较复杂的结构，加了全连接层，relu，maxpool，dropout，dropconnect等，还自己做了数据集加预处理，又做了大量的实验。虽然自己的代码很不成熟，速度也很慢，经历过一个下午跑一个结果，但不可否认的是，这段时间积累了很多调参的经验，而且很多是只能意会不能言传的那种。