斯坦福ML课程——总结(Week5—课程作业ex4—无代码版)

上一篇是利用python完成了ex4，链接为：https://blog.youkuaiyun.com/wangzhihao_2015/article/details/103338139

由于在写的过程中发现了很多问题，所以在这篇文章中总结一下：

一、了解知识体系

就是写代码之前一定要对知识的认知，概念的理解等都有一个大致甚至清晰地了解，这也是为什么在ex4中开头的Introduction就说了：

Before starting on the programming exercise, we strongly recommend watching the video lectures and completing the review questions for the associated topics.

由于我自己对这一部分的知识不牢固，导致在完成代码的过程中，出现了各种疑问，回去又看了一遍自己的推导和阅读材料之后，才得以顺利进行下去。

二、看清公式中点乘还是矩阵相乘

在写代码的过程中，一是由于对知识了解不够，二是对公式中矩阵相乘的形式没有注意，例如：

对于前向传播中的cost function：

 我一直用的np.dot或者@，算出cost值很大，最后，在进行一步一步的实验以及重新复习了一遍相关知识，才发现应该是点乘，在进行相加，相当于多个之前一维向量矩阵相乘。

计算隐藏层的delta时，也是点乘