神经网络用于多分类的一个疑问

问题

在coursera上的机器学习课程中，Andrew NG 讲的神经网络，用于二分类时只用一个输出节点，而用于多分类，比如K分类，就用K个输出节点。这让强迫症患者不能忍啊！比如说4分类，按照课程中的说法，需要用4个节点，4类分别标注为：1000，0100，0010，0001。为何不用两个节点呢？可以标注为00，01，10，11。

---

解答

神经网络的惩罚函数是这样的：

• 会对K个输出节点分别计算输出（h）与理想（y）的差距而后求和，每个节点分别计算差距，之间相互独立。如果是按照我说的用01,00,10,11来表示的话，这两个输出节点之间不是独立的，比如01和00两类，第一个节点却是相同的，这样在计算惩罚函数时第一个节点就相当于废柴，只有第二个节点才会出现惩罚进而在反向传导时对参数进行调整。所以用两个节点来做四分类应该也是可行的，只是由于对于某些类别因为编码上有交叉而出现废柴节点，所以效果应该是不如四个节点
• 而对于二分类，用两个节点（10,10）和用一个节点（1或者0），不存在上述问题，所以用1个和2个都可以